它只是一次添加一个词
[美] 斯蒂芬 • 沃尔弗拉姆（Stephen Wolfram）
该思维导图由 AI 生成，仅供参考
ChatGPT 可以自动生成类似于人类书写的文本，这非常了不起，也非常令人意外。它是如何做到的呢？这为什么会奏效呢？我在这里将概述 ChatGPT 内部的工作方式，然后探讨为什么它能够如此出色地产生我们认为有意义的文本。必须在开头说明，我会重点关注宏观的工作方式，虽然也会提到一些工程细节，但不会深入探讨。［这里提到的本质不仅适用于 ChatGPT，也同样适用于当前的其他“大语言模型”（large language model，LLM）。］
首先需要解释，ChatGPT 从根本上始终要做的是，针对它得到的任何文本产生“合理的延续”。这里所说的“合理”是指，“人们在看到诸如数十亿个网页上的内容后，可能期待别人会这样写”。
假设我们手里的文本是“The best thing about AI is its ability to”（AI 最棒的地方在于它能）。想象一下浏览人类编写的数十亿页文本（比如在互联网上和电子书中），找到该文本的所有实例，然后看看接下来出现的是什么词，以及这些词出现的概率是多少。ChatGPT 实际上做了类似的事情，只不过它不是查看字面上的文本，而是寻找在某种程度上“意义匹配”的事物（稍后将解释）。
最终的结果是，它会列出随后可能出现的词及其出现的“概率”（按“概率”从高到低排列）。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
ChatGPT 是一款能够生成类似于人类书写的文本的工具，其工作原理是基于对大量文本数据的学习和概率推断。它通过不断添加词或标记来生成连贯的文本，每次都会列出随后可能出现的词及其出现的概率。在选择下一个词时，它并非总是选择概率最高的词，而是引入一定的随机性，以增加文本的创造性和趣味性。此外，ChatGPT 还引入了“温度”参数来控制低排名词的使用频率，从而影响生成文本的多样性。文章还介绍了 ChatGPT 的工作原理和 GPT-2 模型的应用，以及展示了使用 GPT-3 模型生成的文本示例。总的来说，ChatGPT 通过对大量文本数据的学习和概率推断，实现了生成类似于人类书写的文本，同时也在选择词语和控制随机性方面进行了优化。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《这就是 ChatGPT》
《这就是 ChatGPT》
立即购买
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论