16｜ChatGPT：是什么让LLM走向舞台中央？

sft model 相对于pretrained model 或base model，有一定的指令识别和意图识别能力，但是产生的内容可能不符合人类期待，所有有一个对齐的过程，因此，我们要如何优化sft model，尤其是符合人类期待的方式优化sft model，这就是reward model 所起的作用。从这个视角看，其实再多找一些“问题-回答对”来微调 sft model 应该也关系不大，但这样成本就比较高了，所以干脆造一个工具 reward model 给 sft model 的产出打分也是个不错的方向。就好比家长、老师会教你说话做事的正确答案，但教的总是有限的，也不一定对，到社会上没人教你，你只能通过别人的脸色、反应来判断做的好或不好。

webgpt是需要手动标注吗，这样工作量太大了

自我循环问题: 如果模型主要依赖自身生成的数据进行训练和优化，可能会出现自我循环（或称为自我确认偏误）的问题。这种情况下，模型可能会在一些错误或偏见上不断自我强化，而不是学习到新的、正确的或更有用的信息。 近亲繁殖的数据问题: 这种情况是指模型主要依赖与原始训练数据非常相似或重复的数据进行训练，可能会导致过拟合和泛化能力的降低。如果模型不断地只看到它自己生成的数据，它可能无法学习到新的知识或改进它的表现。 RLHF（Reinforcement Learning from Human Feedback）与 SFT（Supervised Fine-Tuning）: RLHF 和 SFT 是两种不同的训练策略。RLHF 通常是通过从人类反馈中学习，以优化模型的性能，而 SFT 是通过有监督的方式，使用标签数据对模型进行微调。 在 RLHF 中，通常会收集人类对模型生成内容的反馈，然后利用这些反馈来指导模型的优化。而 SFT 则是基于一个预先标注的数据集来进行的，通常会有一个明确的损失函数来指导优化。 RLHF 更依赖于模型与环境的交互，而 SFT 更依赖于预先准备好的训练数据。 两者可以结合使用，以提高模型的性能和泛化能力。例如，可以首先使用 SFT 微调模型，然后使用 RLHF 进一步优化模型，或者相反。 为了解决自我循环和近亲繁殖的数据问题，通常需要确保模型在训练过程中有足够多样化的数据，并且有时会结合人类的反馈和外部数据来指导模型的训练和优化。