17｜对齐技术：RLHF、RLAIF与Constitutional AI与行为控制

1. 行为对齐技术包括RLHF、RLAIF和Constitutional AI，旨在让大模型在复杂、模糊的问题中输出符合预期的响应风格。 2. RLHF的核心技术是基于人类偏好的强化学习，通过预训练、奖励模型构建和强化微调三个阶段，让模型更符合人类的审美、习惯和价值判断。 3. RLAIF是一种更“划算”的方法，使用“审稿模型”来评估模型生成的内容，从而实现自动化的打分和反馈，但存在幻觉传播和评分模型质量的风险。 4. Constitutional AI的核心理念是给模型一套行为准则，让它在生成内容时自己对照规则修正输出，不依赖人工标注和评分模型，但效果高度依赖于制定的“宪法”是否清晰、严谨、适度。 5. 行为对齐技术的实战价值在于适用于各种场景，如智能客服机器人、医疗问答助手和代码辅助工具，以确保模型输出符合人类期望。 6. 行为对齐不等于绝对安全，各技术路线存在局限，如评分准确性、模型输出偏见和规则遵守程度。 7. 评估对齐程度可采用3H模型，即Helpful（有帮助）、Honest（诚实）、Harmless（无害），并依赖一套指标体系进行量化评估。 8. 企业部署时的注意事项包括设计合适的评价方法、建立闭环的反馈机制和可解释的奖励机制。 9. 行为对齐未来的发展趋势包括多模型互评机制、多维反馈融合机制和可解释性奖励机制，以提升模型的长期稳定能力。