13｜小红书大模型团队的探索与实践：从 0 到 1 构建自研 RLHF 框架

1. 小红书团队自研了多模态大语言模型（MLLM）强化学习方法（RLHF）训练框架，通过优化模型输出、减少幻觉、提升模型泛化能力来解决挑战。 2. 选择PPO算法作为RLHF阶段的主要算法，并进行了基于actor/critic的offload同构组网架构优化。 3. 通过Pipeline优化和精度对齐，提升了训练和推理的一致性，保证了模型输出的准确性。 4. Medusa算法的应用提高了采样效率，加速了推理过程，在长文本下有1.5倍加速比。 5. 通过一系列技术手段提升了收敛速度和训练速度，包括advantage-whiten、pipeline设计、多模并行粒度调优等。 6. 自研推理引擎能够和megatron-core完全对齐，保证了推理风格和测评效果的准确性。 7. 持续优化RLHF框架，解决PPO算法的资源消耗复杂度过高、训练精度的敏感性等问题。 8. 构建高效、准确的RLHF训练系统需要综合考虑算法优化、系统架构、训练调度以及推理引擎等多个方面。 9. 未来计划包括训练速度优化、算法探索、性能优化、架构上对训练和推理深度流水线调度等方面的工作。 10. 团队将继续打造更强的AGI大模型，观察行业进展，强化学习在VLM/LLM的post train阶段对效果有关键提升，相信后面基于RL的self-play是进一步迭代式提升模型效果的关键技术。