AI 大模型实战高手课
独行
前阿里巴巴高级技术专家,国内某大型互联网公司首席技术官
2577 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已更新 18 讲/共 33 讲
第四章:终极玩法,从0到1构建大模型 (1讲)
AI 大模型实战高手课
15
15
1.0x
00:00/00:00
登录|注册

16|从零开始,构建一个具有100M参数规模的Transformer模型

你好,我是独行。
前两节课,我从理论层面向你介绍了 Transformer 的架构原理,到现在为止,我们所有介绍基础理论知识的部分基本结束了。从这节课开始,我们会进入实战环节,对模型的设计、构建、预训练、微调、评估等进行全面的介绍,所以接下来的课程会越来越有意思。这节课,我们先来学习下,如何从 0 到 1 构建基于 Transformer 的模型。

选择模型架构

Transformer 架构自从被提出以来,已经演化出多种变体,用来适应不同的任务和性能需求。以下是一些常见的 Transformer 架构方式,包括原始的设计以及后续的一些创新。
我们熟知的 GPT 系列模型,使用的是 Decoder-only 架构,Google 的 Bert 模型使用的是 Encoder-only 架构。GPT 系列模型之所以选择使用 Decoder-only 架构,主要出于以下几点考虑:
GPT 是语言模型,根据给定的文本预测下一个单词,而解码器就是用来生成输出序列的。
Decoder-only 模型采用自回归方式进行训练,在生成每一个新词时,都会利用之前所有已生成的词作为上下文。这种自回归的特性使得 GPT 能够在生成文本时保持内容的连贯性和逻辑性。
与编码器 - 解码器结构相比,Decoder-only 架构简化了模型设计,专注于解码器的能力。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. Transformer架构的选择:解释了为什么选择Decoder-only架构构建模型,以及该架构的优势和适用场景。 2. 模型参数规模的计算方式:详细介绍了计算Transformer模型参数量的方法,包括嵌入层参数量、位置编码参数量、解码器层参数量和线性输出层参数量的计算公式。 3. 模型训练的复杂性和资源消耗:提到了模型训练是非常复杂的过程,也是最消耗资源的过程。 4. 数据处理:介绍了如何从公开数据集中抽取文本数据,并进行预处理和分词处理。 5. 模型训练:介绍了模型训练的复杂性和资源消耗,以及模型训练的代码实现和训练过程。 6. 模型测试:展示了如何加载训练好的模型,并对输入语句进行分词和生成文本的过程。 7. 构建模型:详细介绍了构建基于Decoder-only架构的Transformer模型的步骤,包括模型参数规模的计算方式和一个简单的Transformer模型的代码实现。 8. 准备训练数据:展示了如何从公开数据集中准备训练数据,包括文本预处理和数据抽取的具体步骤。 9. 初始化模型:介绍了初始化TransformerDecoderModel的过程,包括设置特定的参数和初始化优化器、损失函数等。 10. 数据集处理类的定义:定义了一个数据集处理类,将文本内容逐行读入并使用jieba进行分词,转化成词汇表保存到本地。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 大模型实战高手课》
新⼈⾸单¥59
立即购买
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部
文章页面操作
MAC
windows
作用
esc
esc
退出沉浸式阅读
shift + f
f11
进入/退出沉浸式
command + ⬆️
home
滚动到页面顶部
command + ⬇️
end
滚动到页面底部
⬅️ (仅针对订阅)
⬅️ (仅针对订阅)
上一篇
➡️ (仅针对订阅)
➡️ (仅针对订阅)
下一篇
command + j
page up
向下滚动一屏
command + k
page down
向上滚动一屏
p
p
音频播放/暂停
j
j
向下滚动一点
k
k
向上滚动一点
空格
空格
向下滚动一屏
播放器操作
MAC
windows
作用
esc
esc
退出全屏
⬅️
⬅️
快退
➡️
➡️
快进
空格
空格
视频播放/暂停(视频全屏时生效)