加餐｜基础模型：AI时代的新篇章
方远
你好，我是方远。
好久不见，我想最近我们每个人都可以感受到 AI 行业发生着巨大的变化，似乎有点当年 iPhone4 问世的那种感觉。在这次行业变迁的主角就是最近被提出的基础模型。我们现在聊得最多的 ChatGPT，就是一个典型的代表。
如果我们把 ChatGPT 比作一款应用软件的话，那么基础模型就相当于运行它的操作系统。这次加餐，我们就来聊聊基础模型以及它的代表模型。了解了这些，你将会对新的 AI 研究有更加宏观深入的理解。
基础模型 Foundation model
在 2021 年，斯坦福大学的学者在论文 On the Opportunities and Risks of Foundation Models 中，以基础模型（Foundation Model）来命名这样的模型。
论文中给出的定义是这样的。
A foundation model is any model that is trained on broad data (generally using self-supervision at scale) that can be adapted (e.g., fine-tuned) to a wide range of downstream tasks
意思就是说，基础模型是利用大量数据进行训练，可以在广泛的下游任务中通过微调等手段进行应用的模型。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
AI时代迎来了基础模型的崛起，这一变革标志着AI模型的发展正从“为每个任务单独开发专用模型”转变为“创建一个最强的模型然后应用到一些细分领域”。基础模型利用大规模数据进行训练，通过微调可以应用于广泛的下游任务，改变了AI研究的工作模式。其强大表现力和广泛应用的原因在于算力的提升、Transformer技术的发展以及大规模数据的活用。语言模型如BERT和GPT-3，以及多模态模型如CLIP和GPT-4展现了基础模型在自然语言处理和视觉处理领域的强大应用潜力。未来，基础模型将迎来更大规模的模型、更高效的训练方法以及更广泛的应用场景，为人工智能的发展提供更多可能性。
仅可试看部分内容，如需阅读全部内容，请付费购买文章所属专栏
《PyTorch 深度学习实战》，新⼈⾸单¥59
《PyTorch 深度学习实战》，新⼈⾸单¥59
立即购买
登录 后留言
全部留言(3)
- 最新
- 精选
Juha
老师好,想问下一个不太专业的问题,就是chatpt这类模型出现之后,与pytorch和tensorflow这些框架的关系是怎样的呢作者回复: GPT是模型，pytorch与tensorflow是框架。 模型是有框架来实现的。
2023-11-15归属地：北京2
Monin方老师 关于“未来畅想”这部分 作为一名业务开发程序员 深度研究哪块可以更好的抓住未来的大模型趋势 ？作者回复: 你好，我想总体来看是NLP与CV两部分。如果细分的话可能是增强学习，机器人，生物医疗等具体行业的应用
2023-08-30归属地：上海
ifelse
学习打卡2023-12-16归属地：浙江
收起评论