极客视点
极客时间编辑部
极客时间编辑部
113232 人已学习
免费领取
课程目录
已完结/共 3766 讲
2020年09月 (90讲)
时长 05:33
2020年08月 (93讲)
2020年07月 (93讲)
时长 05:51
2020年06月 (90讲)
2020年05月 (93讲)
2020年04月 (90讲)
2020年03月 (92讲)
时长 04:14
2020年02月 (87讲)
2020年01月 (91讲)
时长 00:00
2019年12月 (93讲)
2019年11月 (89讲)
2019年10月 (92讲)
2019年09月 (90讲)
时长 00:00
2019年08月 (91讲)
2019年07月 (92讲)
时长 03:45
2019年06月 (90讲)
2019年05月 (99讲)
2019年04月 (114讲)
2019年03月 (122讲)
2019年02月 (102讲)
2019年01月 (104讲)
2018年12月 (98讲)
2018年11月 (105讲)
时长 01:23
2018年10月 (123讲)
时长 02:06
2018年09月 (119讲)
2018年08月 (123讲)
2018年07月 (124讲)
2018年06月 (119讲)
时长 02:11
2018年05月 (124讲)
时长 03:16
2018年04月 (120讲)
2018年03月 (124讲)
2018年02月 (112讲)
2018年01月 (124讲)
时长 02:30
时长 02:34
2017年12月 (124讲)
时长 03:09
2017年11月 (120讲)
2017年10月 (86讲)
时长 03:18
时长 03:31
时长 04:25
极客视点
15
15
1.0x
00:00/02:32
登录|注册

OpenAI:AI算力需求6年增长30万倍

讲述:丁婵大小:1.16M时长:02:32
近日,OpenAI 发布了一份关于 AI 计算能力增长趋势的分析报告,报告显示,自 2012 年以来,在最大的 AI 训练运行中所使用的计算力呈指数增长,每 3.5 个月增长一倍,同时,自 2012 年以来,这个指标已经增长了 30 万倍以上。
对于“计算能力”,著名的“摩尔定律”(Moore's law)指出,集成电路上可容纳的元器件的数目,约每隔 18-24 个月便会增加一倍,性能也将提升一倍,而这个速度大大慢于 AI 计算能力的增长。
众所周知,推动人工智能发展的因素有三个:算法创新、数据(可以是有监督的数据或交互式的环境),以及可用于训练的计算量。算法创新和数据很难追踪,但计算量是可量化的,这为衡量人工智能的进展速度提供了机会。
当然,大规模计算的使用有时候会暴露当前算法的缺点,但至少在当前的许多领域中,更多的计算似乎就可以预见更好的性能,并且计算力常常与算法的进步相辅相成。
此外,许多硬件初创公司都在开发 AI 专用的芯片,研究人员们也在不断地寻找新的方法来并行地使用更多的芯片,并愿意支付更大的成本,因此,有理由相信,这种增长趋势可以继续下去。
不过也有专家指出,成本最终将限制这个趋势的平行度,物理学也将限制芯片的效率。
对此,OpenAI 表示,目前最大规模的训练运行采用的硬件成本仅为数百万美元(尽管摊销成本要低得多)。同时,目前大多数神经网络计算仍然用于推理(部署),而不是训练,这意味着公司可以重新调整用途或购买更多的芯片进行训练。
因此,如果存在足够的经济刺激,就可以看到更多的大规模并行训练,从而使这一趋势持续数年。而全世界的硬件总预算每年达 1 万亿美元,因此绝对的限制依然很远。
总的来说,考虑到上述数据、计算指数趋势的先例、机器学习特定硬件的研究以及经济激励,OpenAI 表示,他们相信这种趋势将持续下去。而只要这种趋势继续下去,就值得人们为远远超出当今能力的 AI 系统的影响做好准备。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
免费领取
登录 后留言

精选留言

由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论
显示
设置
留言
收藏
4
沉浸
阅读
分享
手机端
快捷键
回顶部