04｜“黑箱”揭秘：Transformer架构与文本生成机制

1. Transformer架构的核心思想是抛弃循环结构，完全依靠“注意力机制”来建模词与词之间的关系。 2. Transformer整体采用“编码器-解码器（Encoder-Decoder）”结构，用于理解输入句子并提取语义特征。 3. Transformer的核心引擎是自注意力机制，是大模型理解上下文的关键。 4. 多头注意力机制通过并行运算多个注意力头，得以捕捉输入序列中不同位置间丰富多样的依赖关系，从而全面且深入地挖掘序列数据中的关键信息。 5. 温度参数控制了输出的“随机性”程度，低温使模型更保守，高温使模型更大胆。 6. 解码器的自注意力层加入了掩码，确保生成过程是自回归的，只能看到前t-1个词，不能偷看未来。 7. 在开发一个基于大模型的长篇小说创作助手时，需要注意角色设定漂移、关键线索遗忘和生成内容重复等问题，可以通过优化策略来解决。