16｜从零开始，构建一个具有100M参数规模的Transformer模型

1. Transformer架构的选择：解释了为什么选择Decoder-only架构构建模型，以及该架构的优势和适用场景。 2. 模型参数规模的计算方式：详细介绍了计算Transformer模型参数量的方法，包括嵌入层参数量、位置编码参数量、解码器层参数量和线性输出层参数量的计算公式。 3. 模型训练的复杂性和资源消耗：提到了模型训练是非常复杂的过程，也是最消耗资源的过程。 4. 数据处理：介绍了如何从公开数据集中抽取文本数据，并进行预处理和分词处理。 5. 模型训练：介绍了模型训练的复杂性和资源消耗，以及模型训练的代码实现和训练过程。 6. 模型测试：展示了如何加载训练好的模型，并对输入语句进行分词和生成文本的过程。 7. 构建模型：详细介绍了构建基于Decoder-only架构的Transformer模型的步骤，包括模型参数规模的计算方式和一个简单的Transformer模型的代码实现。 8. 准备训练数据：展示了如何从公开数据集中准备训练数据，包括文本预处理和数据抽取的具体步骤。 9. 初始化模型：介绍了初始化TransformerDecoderModel的过程，包括设置特定的参数和初始化优化器、损失函数等。 10. 数据集处理类的定义：定义了一个数据集处理类，将文本内容逐行读入并使用jieba进行分词，转化成词汇表保存到本地。