10｜体验蒸馏：如何蒸馏一个自己的DeepSeek-R1大模型
邢云阳
你好，我是邢云阳。
上节课，我带领你借助开源大模型微调工具 LLama-Factory 对 DeepSeek-R1-Distill-Qwen-7B 进行了微调，实现了新闻分类器的效果。通过这样一个挺有意思的小案例，想必你也感受到了微调的魅力。这节课我们就把目光投向另一个大模型里常用的技术——蒸馏。
什么是蒸馏
其实蒸馏呢，本质上也是微调的一种类型。传统微调是为了让大模型获取一些私域知识，比如股票、医疗等等，这是让大模型的知识面增加了，但没有改变大模型的能力。而蒸馏不一样，蒸馏不光教知识，还要教能力。所谓授之以鱼，不如授之以渔，蒸馏就是要让被训练的模型能够学会教师模型的能力。
我们知道传统的一些快速响应模型，比如 qwen2.5、llama3 等等模型是不带思维链的。但 DeepSeek-R1 模型带有思维链，而且思考能力很强。因此对 DeepSeek-R1 蒸馏的意义就是要让 qwen2.5 等模型也学会思维链，就是这么简单。
那接下来，我们看一下蒸馏一个自己的小模型，应该怎么做。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. 蒸馏是一种微调的类型，旨在让被训练的模型学会教师模型的能力，而不仅仅是知识。 2. 蒸馏的流程包括准备数据集，将数据喂给大模型以生成教学数据，然后使用监督微调让小模型学会大模型的输出模式。 3. 生成教学数据需要根据实际业务情况编写合适的提示词，包括描述需求、规定分类种类、示例以及向大模型提问和反馈答案的代码。 4. 教学数据的生成需要懂得业务，写出逼真、符合大模型口吻的示例，以获得良好的效果.
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《DeepSeek 应用开发实战》，新⼈⾸单¥59
《DeepSeek 应用开发实战》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论