13｜以Qwen为例讲透参数高效微调（PEFT）
黄佳
你好，我是黄佳。从今天起，我们将正式进入大模型微调实战。
大模型的微调，是一个对大模型的原理和实践经验要求都非常高的领域。初学者想把微调技术掌握清晰，在我看来，至少面临三个很大的障碍。
优秀资料的匮乏，因为有成功微调大模型经验的人往往都是好的研究者和企业中的骨干，这些人很少有时间和精力制作完善的文档，把具体的微调细节讲清楚。
对大模型整体知识体系的学习要求高，懂微调，又懂如何微调是最有效的，需要你对整个大模型技术栈有一个宏观且深入的认知。
微调技术不仅内容多，而且进化得很快。微调这个技术栈的名词众多，包括全量微调（Full Fine-tuning）、指令微调（Instruction Tuning）、基于人类反馈的强化学习（RLHF）、参数高效微调（PEFT，Parameter-Efficient Fine-Tuning）等等。而参数高效微调中，又包括基于提示的微调方法（如 Prompt Tuning / Prefix Tuning / P-Tuning）以及基于低秩分解的微调方法（LoRA / LoHA / LoKr）等。
这么多的新名词，加上这么复杂的技术栈，让人眼花缭乱，不知道从何下手，当然也给了初学者很大的震撼。不过，万丈高楼平地起，我们可以从简单开始学起。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. 大模型微调的挑战和目标，以及采用的微调方法和配合的模型压缩方法。 2. Qwen-1.8B作为一个18亿参数的模型，适合处理中英双语的自然语言理解和生成任务。 3. 参数高效微调（PEFT）是针对大语言模型的最实用方法，包括基于提示的方法和基于低秩分解的方法。 4. Hugging Face的PEFT框架提供了一组工具和方法，旨在使大语言模型的微调过程更加高效和资源友好。 5. 自定义Trainer类的compute_loss方法和训练参数的说明。 6. 500轮次的训练开始，损失将逐渐缩小，训练后的模型保存至本机目录。 7. 在微调之后再次测试模型，加载训练好的模型和分词器，生成回答测试示例。 8. 利用LoRA等参数高效微调技术，使模型在中医领域问答任务上取得基于知识库的结果。 9. 在微调的同时，如何为大模型做进一步的瘦身，以及如何有效利用当前GPU内存的方法。 10. 思考题中的场景数据集收集和模型微调、其他参数高效微调方法、微调的整体流程和其他PEFT微调方法的探讨。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《大模型应用开发实战》，新⼈⾸单¥59
《大模型应用开发实战》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论