11｜TRPO的大语言模型时代扩展：PPO、DPO以及GRPO（上）
H 博士 & 袁从德
你好！欢迎来到强化学习的第十一讲，这节课因内容较多，我们将拆分为上下两节。
在前一讲中，我们深入剖析了 TRPO 算法的核心逻辑：它通过“置信区域”约束策略更新幅度，有效解决了传统策略梯度对步长敏感的问题，为策略优化的稳定性筑牢了基础。但随着大语言模型（LLM）向千亿级参数、复杂任务场景演进，TRPO 在计算复杂度（如矩阵求逆）、大规模数据适配性上的短板愈发明显，难以平衡大模型训练中“高效迭代”“样本复用”与“策略稳定”的三重需求。
这两节课我们将聚焦 TRPO 的三大关键扩展算法——PPO（近端策略优化）、DPO（直接偏好优化）与 GRPO（组相对策略优化）。它们分别从“简化约束逻辑”、“革新优化范式”、“适配序列奖励特性”三个维度突破，为大语言模型的强化学习训练提供了更贴合实际需求的解决方案：PPO 简化了 TRPO 的约束实现，兼顾稳定性与效率；DPO 跳过显式奖励建模，直击偏好对齐核心；GRPO 则针对 LLM 序列生成的奖励特性，进一步降低了训练资源开销。
通过两节课的学习，你将能够：
理解 PPO 的核心创新：如何通过“重要性采样 + 裁剪机制”，在规避 TRPO 复杂矩阵运算的同时保证策略稳定性，及其在 LLM 微调（如文本生成、对话对齐）中的应用逻辑。
掌握 DPO 的突破点：为何它能脱离“环境交互采样”与“独立奖励模型”，通过直接优化策略损失实现高效偏好对齐，及其在样本稀缺场景（如医疗文本、法律问答）中的独特价值。
明晰 GRPO 的设计初衷：如何通过“舍弃评论家模型 + 组采样基线估计”，适配 LLM “奖励集中于序列末尾”的特性，解决 PPO 在 token 级价值估计上的难题与资源瓶颈。
系统对比 PPO、DPO 与 GRPO 在原理、性能（样本效率、训练速度、稳定性）、应用场景上的差异，学会根据 LLM 任务的核心需求（如数据量、交互成本、奖励形式）选择最优算法。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. PPO算法是一种在大模型训练中表现良好的策略优化算法，通过引入近端策略优化目标函数，简化了约束实现，兼顾了稳定性与效率，适用于各种复杂任务。 2. PPO算法的核心原理在于引入了裁剪后的目标函数，通过重要性采样和裁剪机制来限制策略更新的幅度，保证策略改进的同时避免更新过大导致模型性能下降。 3. DPO算法通过逆向操作和重参数化奖励函数的关键步骤，实现了高效偏好对齐，在样本稀缺场景中具有独特价值。 4. DPO算法的优势包括样本效率高、训练速度快和泛化能力强，适用于大规模语言模型的预训练和微调，尤其在标注数据稀缺的任务中具有优势。 5. DPO算法在大语言模型中的应用主要集中在模型的预训练和微调阶段，能够利用大规模的无监督文本数据进行策略优化，并在少量标注数据下快速优化模型，适用于医疗领域等标注数据稀缺的任务。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《强化学习快速入门与实战》，新⼈⾸单¥59
《强化学习快速入门与实战》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论