01｜洞察本质：从工程学角度看ChatGPT为什么会崛起
独行
你好，我是独行。
2022 年 11 月底，OpenAI 发布了 ChatGPT，2023 年 1 月注册用户超过一亿，成为历史上增长最快的应用，上一个纪录保持者是 TikTok，注册用户超过一亿用时 9 个月。2023 年 3 月开始，ChatGPT 燃爆中国互联网界。
实际上国内外同一时期搞大模型的团队很多，为什么 ChatGPT 会突然火起来？还有在 ChatGPT 发布后，为什么各个大厂在短时间内相继发布大模型产品？比如 3 月百度发布文心一言，4 月阿里云发布通义千问，5 月科大讯飞发布星火认知大模型等等。
我们最容易想到的原因是，OpenAI 在自然语言处理（NLP）方面取得了突破性的进展，这是技术层面看到的。实际上，ChatGPT 背后包含了一系列的资源整合，包括技术、资金、大厂背书等等，以及多个国际巨头的通力合作，比如 OpenAI、微软、NVIDIA、GitHub 等。所以说，ChatGPT 不仅仅是技术上的突破，更是工程和产品的伟大胜利！
那么 ChatGPT 具体是如何赢得这场胜利的呢？我们一一来看。
NLP 技术突破：强势整合技术资源
基于 Transformer 架构的语言模型大体上分为两类，一类是以 BERT 为代表的掩码语言模型（Masked Language Model，MLM），一类以 GPT 为代表的自回归语言模型（Autoregressive Language Model，ALM）。OpenAI 的创建宗旨是：创建造福全人类的安全通用人工智能（AGI），所以创立之初就摒弃了传统 AI 模型标注式的训练方式，因为可用来标注的数据总是有限的，很难做得非常通用。那么为了实现 AGI，OpenAI 在技术上到底做对了什么呢？
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
1. ChatGPT的成功得益于强势整合技术资源，包括自回归的无监督训练、与人类意识对齐以及突现能力。 2. 模型规模并非决定性因素，而是技术整合和充分训练的结果。 3. ChatGPT的突破性在于自回归语言模型、充分无监督训练、大量代码训练、有监督指令微调和RLHF等技术的叠加。 4. ChatGPT的成功离不开超大规模的预训练，这使得其能够展现出强大的语言理解和生成能力。 5. ChatGPT成功地产品化并向普通用户开放，使得其在多个领域具有广泛的应用场景。 6. OpenAI通过商业模式吸引了大量资金投入，其中微软的投资对其影响力巨大。 7. ChatGPT的工程化应用包含了大规模的技术支持和可靠的训练环境，体现了其在技术和工程上的强大实力。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《AI 大模型实战高手课》，新⼈⾸单¥59
《AI 大模型实战高手课》，新⼈⾸单¥59
立即购买
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论