在基础训练之外
[美] 斯蒂芬 • 沃尔弗拉姆（Stephen Wolfram）
该思维导图由 AI 生成，仅供参考
训练 ChatGPT 的重头戏是在向其“展示”来自互联网、书籍等的大量现有文本，但事实证明训练还包括另一个（显然非常重要的）部分。
一旦根据被展示的原始文本语料库完成“原始训练”，ChatGPT 内部的神经网络就会准备开始生成自己的文本，根据提示续写，等等。尽管这些结果通常看起来合理，但它们很容易（特别是在较长的文本片段中）以“非类人”的方式“偏离正轨”。这不是通过对文本进行传统的统计可以轻易检测到的。但是，实际阅读文本的人很容易注意到。
构建 ChatGPT 的一个关键思想是，在“被动阅读”来自互联网等的内容之后添加一步：让人类积极地与 ChatGPT 互动，看看它产生了什么，并且在“如何成为一个好的聊天机器人”方面给予实际反馈。但是神经网络是如何利用这些反馈的呢？首先，仅仅让人类对神经网络的结果评分。然后，建立另一个神经网络模型来预测这些评分。现在，这个预测模型可以在原始网络上运行—本质上像损失函数一样—从而使用人类的反馈对原始网络进行“调优”。实践中的结果似乎对系统能否成功产生“类人”输出有很大的影响。
总的来说，有趣的是，“原本训练好的网络”似乎只需要很少的“介入”就能在特定方向上有效地进步。有人可能原本认为，为了让网络表现得好像学到了新东西，就必须为其训练算法、调整权重，等等。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
本文介绍了训练 ChatGPT 的重要性以及训练过程中的关键思想。除了向神经网络展示大量现有文本之外，人类积极地与 ChatGPT 互动并给予实际反馈也是至关重要的。作者指出，神经网络在捕捉信息方面存在算法限制，对于浅显的规则能够很好地表示和重现，但对于深度计算规则则行不通。此外，当神经网络接收到出乎意料的信息时，似乎无法成功地整合这些信息。作者认为，理解 ChatGPT 实际在做什么以及它与人类语言和思维结构之间的关系是至关重要的。总的来说，本文强调了训练 ChatGPT 的复杂性和挑战性，以及神经网络在处理信息时的局限性。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《这就是 ChatGPT》
《这就是 ChatGPT》
立即购买
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论