概率从何而来

该思维导图由 AI 生成，仅供参考

文章总结：概率在自然语言生成中扮演着重要角色。本文以ChatGPT为例，探讨了概率是如何应用于逐字母和逐词生成英文文本的过程中。通过统计不同字母的出现次数，以及考虑字母对或更长的n元字母的概率，可以生成更加“真实”的文本。然而，由于英文文本的复杂性，要准确估计所有可能的n元词的概率是一项艰巨的任务。因此，建立一个能够估计序列出现概率的大语言模型是解决这一问题的最佳思路。ChatGPT正是基于这一思路构建的，能够很好地估计文本序列的概率，从而生成更加符合“正确的整体文章概率”的文本。文章通过简洁清晰的例子和图片，生动地展示了概率在自然语言生成中的应用，为读者呈现了一幅技术特点鲜明的概览。