1. GRPO算法是DeepSeek在训练DeepSeekMath模型时提出的高效RL算法，旨在解决PPO在LLM推理任务中的资源瓶颈。 2. GRPO通过舍弃评论家模型，采用基于组采样的基线估计方法，实现了在推理任务上的重大效率突破，但引入了一系列更微妙的、先前未被充分认识的问题。 3. GRPO算法的核心原理在于避免维护与策略模型大小相当的价值网络，显著减少内存和计算开销，同时引入稳定性约束，确保训练稳定性。 4. GRPO算法的优势函数的计算只依赖于每个输出的结果奖励，通过均匀分配整体优势值给每个token来简化且有效地近似。 5. GRPO算法的目标函数中带有Actor模型与参考模型的KL散度，用于衡量两个不同离散数据分布的相似程度。 6. GRPO算法的性能表现对比显示在样本效率、训练速度和策略稳定性方面与PPO和DPO有不同的优势和劣势。 7. 某企业计划为其电商平台开发智能客服大模型，核心需求包括：数据特点、优化目标和工程约束。 8. 数据特点包括已积累的对话历史数据和缺乏人工标注的偏好数据，以及标注成本和预算上限。 9. 优化目标是提升回复的相关性、简洁性和合规性，而工程约束包括训练资源有限、训练周期不超过7天，以及模型上线后需支持每周基于新对话数据快速迭代。