致程序员:AI 百问百答
极客时间
专家团
4 人已学习
新⼈⾸单¥59
致程序员:AI 百问百答
15
15
1.0x
00:00/00:00
登录|注册

Q1|数据底座:如何应对可能的语料库枯竭?

作者介绍:窦德景教授,复旦大学计算机学院特聘教授、清华大学电子工程系兼职教授、国家级人才计划入选者
Q:有学者指出高质量语料库将在 2027 年面临枯竭。对于 AI 技术和产业应用领域的不同企业而言,如何应对数据危机?合成数据训练或联邦学习是否会成为下一代技术底座?
窦德景:如果数据都是合成的,隐私问题自然就不存在了。不过,就合成数据本身而言,目前大家都在使用 AI 生成合成数据来训练 AI 模型,这已经成为一种常见的做法。
我的预期是,在未来的某个阶段,我们可能不再需要依赖大量的真实训练数据。这让我联想到 AlphaGo 和 AlphaGo Zero 的区别。AlphaGo 使用了 100 万盘人类高手的棋局作为训练数据,而 AlphaGo Zero 则完全摒弃了人类棋局,仅基于围棋的基本规则,通过两个程序互相训练,就像金庸小说里面的左右互搏,最终成为绝世围棋高手。
未来,AI 训练可能会进入类似的阶段。当 AI 对物理世界的理解达到 一定水平后,我们或许不再需要采集任何真实数据,而是可以直接根据物理世界的原理或规则生成所需的训练数据。当然,这可能在一两年内还难以实现。目前,所有真实数据加在一起,可能也只能 训练出 5 万亿参数的模型。但如果 GPT-5 达到 10 万亿参数,按我的推测,那肯定已经用了很多合成数据。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
  • 解释
  • 总结

1. 高质量语料库可能在2027年面临枯竭,对AI技术和产业应用领域的企业提出了数据危机的挑战。 2. 合成数据训练和联邦学习可能成为下一代技术底座,解决数据需求的问题。 3. AI技术在未来可能不再需要依赖大量真实训练数据,而是可以直接根据物理世界的原理或规则生成所需的训练数据。 4. 未来AI训练可能会进入类似AlphaGo Zero的阶段,不再依赖人类生成的数据,而是基于基本规则和强化学习。 5. 结合强化学习和对物理世界规律的理解,或许可以解决数据需求的问题,但可能意味着人类的作用会进一步减弱。

仅可试看部分内容,如需阅读全部内容,请付费购买文章所属专栏
《致程序员:AI 百问百答》
新⼈⾸单¥59
立即购买
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
沉浸
阅读
分享
手机端
快捷键
回顶部
文章页面操作
MAC
windows
作用
esc
esc
退出沉浸式阅读
shift + f
f11
进入/退出沉浸式
command + ⬆️
home
滚动到页面顶部
command + ⬇️
end
滚动到页面底部
⬅️ (仅针对订阅)
⬅️ (仅针对订阅)
上一篇
➡️ (仅针对订阅)
➡️ (仅针对订阅)
下一篇
command + j
page up
向下滚动一屏
command + k
page down
向上滚动一屏
p
p
音频播放/暂停
j
j
向下滚动一点
k
k
向上滚动一点
空格
空格
向下滚动一屏
播放器操作
MAC
windows
作用
esc
esc
退出全屏
⬅️
⬅️
快退
➡️
➡️
快进
空格
空格
视频播放/暂停(视频全屏时生效)