AI 大模型实战高手课
独行
前阿里巴巴高级技术专家,国内某大型互联网公司首席技术官
2961 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已更新 24 讲/共 33 讲
AI 大模型实战高手课
15
15
1.0x
00:00/00:00
登录|注册

22|模型轻量化:如何让模型运行在低配置设备上?

你好,我是独行。
前面我们从 0~1 构建大模型的那节课里,最后我通过 5MB 数据训练出的模型,占用了大概 500M 的存储空间,参数量约 1.2 亿,当时为了节省时间,只简单跑了一下,这比较极端,可以说大量的参数是浪费的,这里我简单举个例子说明一下,比如公式:
经过少量数据训练后,我们只确定了 ,后面的参数都未经过训练,所以其实是没用的。这种情况下,这个公式就有了可优化的空间,比如把 之后的全部砍掉,或者保留 之前的,之后的全部砍掉。
放在模型中,我们知道虽然参数量和训练数据量有很大关系,但是参数量还和模型网络的设计息息相关,当模型设计的层数比较深,那么也是很有可能产生浪费的情况。这种情况下,就可以对模型进行优化,优化的目标是降低模型的复杂度,包括参数量、占用空间。模型复杂度降低了,那么就可以降低资源的消耗,模型就可以运行在更低配置的设备上。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. 参数剪枝是一种优化技术,通过减少模型中的参数数量来降低复杂性和运行成本,可以选择无结构剪枝或结构剪枝,并通过定义剪枝标准和实施剪枝来实现。 2. 在PyTorch中进行参数剪枝后,需要使用prune.remove函数将掩码应用到原始权重并移除剪枝带来的额外属性,以确保剪枝效果永久化并减少模型的大小。 3. 量化是将模型中的浮点类型的权重转换为低精度(如INT8或INT16)的过程,可以减少模型的存储空间需求,并在某些硬件上加速模型的推理速度。 4. 静态量化是在模型的推理阶段将权重和激活数据从浮点数转换为低精度整数的过程,需要一个校准步骤来决定最佳的量化参数,并在量化完后进行全面的测试。 5. 动态量化主要针对模型的权重进行量化,每次输入时都会重新计算量化参数,适合对推理速度有较高要求的应用场景,且不需要重新训练模型即可实现。 6. 知识蒸馏是一种训练技术,其中一个小的模型,被叫做学生模型,学习模仿一个大的已经训练好的模型,这个模型通常叫做教师模型。通过这种方式,小模型可以在保持较高性能的同时,显著减少参数数量。 7. 参数剪枝是一种非常实用的模型轻量化技术,分为加载模型、选择剪枝策略、定义剪枝标准、实施剪枝、微调训练、评估模型几个步骤。 8. 感知训练量化是指在训练过程中应用量化效果,使模型适应量化带来的精度损失,通常能保持或仅轻微影响模型的精度。 9. 知识蒸馏的基本步骤包括训练教师模型、定义学生模型、蒸馏过程和评估学生模型。 10. 教师模型的输出通常是经过Softmax函数处理的概率分布,被叫做“软标签”,能够提供关于各个类别相对可能性的更多信息,有助于学生模型更全面地理解数据。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 大模型实战高手课》
新⼈⾸单¥59
立即购买
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部
文章页面操作
MAC
windows
作用
esc
esc
退出沉浸式阅读
shift + f
f11
进入/退出沉浸式
command + ⬆️
home
滚动到页面顶部
command + ⬇️
end
滚动到页面底部
⬅️ (仅针对订阅)
⬅️ (仅针对订阅)
上一篇
➡️ (仅针对订阅)
➡️ (仅针对订阅)
下一篇
command + j
page up
向下滚动一屏
command + k
page down
向上滚动一屏
p
p
音频播放/暂停
j
j
向下滚动一点
k
k
向上滚动一点
空格
空格
向下滚动一屏
播放器操作
MAC
windows
作用
esc
esc
退出全屏
⬅️
⬅️
快退
➡️
➡️
快进
空格
空格
视频播放/暂停(视频全屏时生效)