AI 大模型实战高手课
独行
前阿里巴巴高级技术专家,国内某大型互联网公司首席技术官
12 人已学习
新⼈⾸单¥59
登录后,你可以任选4讲全文学习
课程目录
已更新 2 讲/共 33 讲
第一章:小试牛刀,理解基础概念 (1讲)
AI 大模型实战高手课
15
15
1.0x
00:00/00:00
登录|注册

01|洞察本质:从工程学角度看ChatGPT为什么会崛起

你好,我是独行。
2022 年 11 月底,OpenAI 发布了 ChatGPT,2023 年 1 月注册用户超过一亿,成为历史上增长最快的应用,上一个纪录保持者是 TikTok,注册用户超过一亿用时 9 个月。2023 年 3 月开始,ChatGPT 燃爆中国互联网界。
实际上国内外同一时期搞大模型的团队很多,为什么 ChatGPT 会突然火起来?还有在 ChatGPT 发布后,为什么各个大厂在短时间内相继发布大模型产品?比如 3 月百度发布文心一言,4 月阿里云发布通义千问,5 月科大讯飞发布星火认知大模型等等。
我们最容易想到的原因是,OpenAI 在自然语言处理(NLP)方面取得了突破性的进展,这是技术层面看到的。实际上,ChatGPT 背后包含了一系列的资源整合,包括技术、资金、大厂背书等等,以及多个国际巨头的通力合作,比如 OpenAI、微软、NVIDIA、GitHub 等。所以说,ChatGPT 不仅仅是技术上的突破,更是工程和产品的伟大胜利!
那么 ChatGPT 具体是如何赢得这场胜利的呢?我们一一来看。

NLP 技术突破:强势整合技术资源

基于 Transformer 架构的语言模型大体上分为两类,一类是以 BERT 为代表的掩码语言模型(Masked Language Model,MLM),一类以 GPT 为代表的自回归语言模型(Autoregressive Language Model,ALM)。OpenAI 的创建宗旨是:创建造福全人类的安全通用人工智能(AGI),所以创立之初就摒弃了传统 AI 模型标注式的训练方式,因为可用来标注的数据总是有限的,很难做得非常通用。那么为了实现 AGI,OpenAI 在技术上到底做对了什么呢?
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结

1. ChatGPT的成功得益于强势整合技术资源,包括自回归的无监督训练、与人类意识对齐以及突现能力。 2. 模型规模并非决定性因素,而是技术整合和充分训练的结果。 3. ChatGPT的突破性在于自回归语言模型、充分无监督训练、大量代码训练、有监督指令微调和RLHF等技术的叠加。 4. ChatGPT的成功离不开超大规模的预训练,这使得其能够展现出强大的语言理解和生成能力。 5. ChatGPT成功地产品化并向普通用户开放,使得其在多个领域具有广泛的应用场景。 6. OpenAI通过商业模式吸引了大量资金投入,其中微软的投资对其影响力巨大。 7. ChatGPT的工程化应用包含了大规模的技术支持和可靠的训练环境,体现了其在技术和工程上的强大实力。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《AI 大模型实战高手课》
新⼈⾸单¥59
立即购买
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部