17｜LLM展望：死神永生，LLM会带人们驶向何处？
Tyler
你好，我是 Tyler。
还记得第一节课的思考题吗？我们再回顾一下。
前一段时间，马斯克曾联合上千位人士签署联名公开信，“以担心人工智能系统将达到不可控程度，且会造成不可预知的风险为由，呼吁暂停训练更强大的人工智能 6 个月”。你认为他说得对吗？他所说的不可控的程度是什么？
你可能会问，为什么我突然提到了之前的问题？其实前面思考题反映了我们对大模型的“智能”非常担心。担心的主要原因是，现在还没有人真正了解大模型产生智能的原理。
首先，目前的智能反应是难以预测的，这使得模型的行为变得不可控。其次，这些能力可不总是朝着有益的方向发展，可能会引发不良后果。
因此在学术界产生了各种各样的猜想和实验，试图弄清楚大模型为什么会产生智能。毕竟长远来看，如果每个数字应用都发展为智能体理论上是可能的。就算使用大模型技术时都会有风控策略的参与，但是很难避免大模型首先服务人类，之后随着时间拉长开始互相对话建立共识，最后架空人类。
只有解开大模型智能来源的谜底，我们才有可能牢牢“控制”大模型，避免有坏人利用它做坏事。这节课，我们就一起来探寻大模型智能产生的机制。
涌现是什么
想要推测大模型为什么会产生智能，我们需要先了解“涌现”这个概念，它是大模型区别于之前人工智能方法的最鲜明特征。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
涌现能力是当前人工智能领域的热点话题，本文探讨了大语言模型（LLM）的涌现能力及其在不同任务中的表现。涌现能力表现为在特定任务上展现出超出训练数据范围的能力，其中最典型的表现是In Context Learning（ICL）和思维链（CoT）。文章介绍了参数规模对任务表现的影响，包括伸缩法则、涌现能力和U形曲线效应。研究成果对于理解大模型智能产生的机制以及推动人工智能领域的发展具有重要意义。此外，文章还探讨了涌现智能的开关，即模型规模对涌现现象的影响，以及如何分配算力的问题。最后，文章提出了思考题，引发读者对于构建AI系统、涌现任务对人工智能应用领域的影响以及未来发展的期待和疑虑。文章内容深入浅出，为读者提供了对大语言模型涌现能力的深入理解和思考。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI 大模型系统实战》，新⼈⾸单¥59
《AI 大模型系统实战》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(3)
- 最新
- 精选
一只豆我看《奥本海默》时，很多个镜头和瞬间都把 核能和GPT技术 强烈的联想起来了。 核能是来自对微观世界作用力的规律解密，GPT技术可能更恐怖，简直是把宇宙的隐变量（我觉得智能是宇宙的隐变量）工程化的驾驭了。 从这个角度来说，我非常同意老师的观点：原理上搞不清楚也罢。 搞清楚的时候，可能就是脱离物质局限，文明和生命进入灵魂存在/进化的境遇了。。。 这可能已经不是人的范畴了作者回复: 你好，一只豆！感谢你一如既往的支持，很高兴你能和这门课产生共鸣，并且得到文字外的思考。
2023-09-24归属地：广东2
糖糖丸这篇真的很值🥹编辑回复: 感谢认可～多做思考题，会更有收获
2023-10-16归属地：北京
lw个人认为涌现是将数据更内在的关联学习出来了，而人类看不出来，这也恰恰表现出机器有超人的表现2023-10-13归属地：中国香港1
收起评论