DeepSeek 应用开发实战
云阳
某大厂 AI 与容器技术专家
3482 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已更新 13 讲/共 34 讲
DeepSeek 应用开发实战
15
15
1.0x
00:00/00:00
登录|注册

09|体验微调:微调DeepSeek-R1大模型,实现新闻分类器

你好,我是邢云阳。
通过前面的学习,相信你对常用的几种模型部署方案已经有所了解。这一章剩余的两节课我会分别带你实操一下微调和蒸馏,让你对于这项技术有一个直观的概念。这节课我们先来看微调。

什么是微调?

所谓微调,就是对模型进行微微的调整。我举一个例子,我们每个人都接受过九年义务教育和三年高考五年模拟等海量“填鸭式”知识训练。但等到高中毕业以后,就会发现这些天文地理历史政治太过通用,不足以让我们在社会上混饭吃。于是就需要针对某一项技能,进行专业训练。比如有的人学了计算机;有的人学了金融;有的人去了蓝翔,学了挖掘机等等,都是为了应对某项细分工作。
模型微调就是这样,厂商训练出的原始模型是要符合大众化口味的,但对于垂直领域的专业知识,是不可能会的。因此为了让大模型为我所用,我们需要用一些专业数据,比如口腔科的病例数据等等对模型进行二次训练,让模型具备我们想要的能力。口腔科的病例数据再多,可能也就几万份数据,毕竟病人虽多,但重复的病例也多。而模型初始训练时的数据量都是几亿、几十亿、几百亿级别的。因此数据量是微调的“微”的直观体现。

如何微调?

接下来我们讲一下如何进行微调。
微调通常有三种方式,第一种是模型供应商提供了商业模型的在线微调能力,比如 OpenAI 的 GPT 3.5 等模型就支持在线微调。这种模式是基于商业大模型的微调,因此微调后模型还是商业大模型,我们去使用时依然要按 token 付费。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. 微调是对模型进行微小的调整,通过专业数据对模型进行二次训练,使其具备特定领域的能力。 2. 微调通常有三种方式:模型供应商提供在线微调能力、云厂商提供在线部署、微调平台、使用开源方案进行本地私有化部署和微调。 3. LLama-factory是一站式微调和评估平台,整合了各种高效训练微调技术,适配市场主流开源模型,提供多个高层次抽象的调用接口,方便开发者使用。 4. 控制台提供了三种微调方法,分别是 full、freeze 和 lora,分别对应全参数微调、冻结微调和低秩自适应微调。 5. 控制台的四大核心功能包括训练(微调)、评估&优化、对话和导出,用户可以根据微调任务的实际情况自行配置参数并开始微调任务。 6. 在微调完成后,用户可以进行模型性能评估,对模型进行对话测试,以及导出微调后的模型文件。 7. 微调中学习率(Learning Rate)是一个关键的超参数,控制模型参数在每次更新时的调整步长,可以通过更改学习率来测试微调效果。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《DeepSeek 应用开发实战》
新⼈⾸单¥59
立即购买
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部
文章页面操作
MAC
windows
作用
esc
esc
退出沉浸式阅读
shift + f
f11
进入/退出沉浸式
command + ⬆️
home
滚动到页面顶部
command + ⬇️
end
滚动到页面底部
⬅️ (仅针对订阅)
⬅️ (仅针对订阅)
上一篇
➡️ (仅针对订阅)
➡️ (仅针对订阅)
下一篇
command + j
page up
向下滚动一屏
command + k
page down
向上滚动一屏
p
p
音频播放/暂停
j
j
向下滚动一点
k
k
向上滚动一点
空格
空格
向下滚动一屏
播放器操作
MAC
windows
作用
esc
esc
退出全屏
⬅️
⬅️
快退
➡️
➡️
快进
空格
空格
视频播放/暂停(视频全屏时生效)