13｜深入理解Seq2Seq：让我们看看语言翻译是怎么来的

1. Seq2Seq是一种神经网络架构，由编码器和解码器组成，用于从一个序列到另一个序列的转换，能够处理不同长度的输入序列，并且记住序列中的长期依赖关系。 2. 注意力机制（Attention Mechanism）使解码器能够在生成每个输出元素时“关注”输入序列中的不同部分，从而提高模型处理长序列和捕捉复杂依赖关系的能力。 3. 模型训练的复杂性较高，需要从头开始训练一个Seq2Seq模型，与Word2Vec的训练有所不同。 4. 在模型训练过程中，需要使用数据加载器对数据进行批次处理，并检查是否有可用的GPU，如果没有则使用CPU进行训练。 5. 编码器的任务是读取并理解输入序列，然后将其转换为一个固定长度的上下文向量，而解码器的任务是接收编码器生成的上下文向量，并基于这个向量生成目标序列。 6. 模型验证是推理过程，与训练过程相似，但模型会记住参数，直接根据这些参数计算下一个词的概率。 7. 训练轮数对模型训练非常关键，不能太少，也不能太多。 8. Seq2Seq缺点包括使用固定上下文长度、训练和推理通常需要逐步处理输入和输出序列，以及参数量较少，面对复杂场景可能受限。 9. 下一节课将介绍Transformer，作为Seq2Seq的终极大boss，是学习基础概念的延伸。 10. 模型的参数是在训练过程中学习到的权重和偏置，用于在推理过程中进行概率预测。