OpenAI:AI算力需求6年增长30万倍
极客时间编辑部
讲述:丁婵大小:1.16M时长:02:32
近日,OpenAI 发布了一份关于 AI 计算能力增长趋势的分析报告,报告显示,自 2012 年以来,在最大的 AI 训练运行中所使用的计算力呈指数增长,每 3.5 个月增长一倍,同时,自 2012 年以来,这个指标已经增长了 30 万倍以上。
对于“计算能力”,著名的“摩尔定律”(Moore's law)指出,集成电路上可容纳的元器件的数目,约每隔 18-24 个月便会增加一倍,性能也将提升一倍,而这个速度大大慢于 AI 计算能力的增长。
众所周知,推动人工智能发展的因素有三个:算法创新、数据(可以是有监督的数据或交互式的环境),以及可用于训练的计算量。算法创新和数据很难追踪,但计算量是可量化的,这为衡量人工智能的进展速度提供了机会。
当然,大规模计算的使用有时候会暴露当前算法的缺点,但至少在当前的许多领域中,更多的计算似乎就可以预见更好的性能,并且计算力常常与算法的进步相辅相成。
此外,许多硬件初创公司都在开发 AI 专用的芯片,研究人员们也在不断地寻找新的方法来并行地使用更多的芯片,并愿意支付更大的成本,因此,有理由相信,这种增长趋势可以继续下去。
不过也有专家指出,成本最终将限制这个趋势的平行度,物理学也将限制芯片的效率。
对此,OpenAI 表示,目前最大规模的训练运行采用的硬件成本仅为数百万美元(尽管摊销成本要低得多)。同时,目前大多数神经网络计算仍然用于推理(部署),而不是训练,这意味着公司可以重新调整用途或购买更多的芯片进行训练。
因此,如果存在足够的经济刺激,就可以看到更多的大规模并行训练,从而使这一趋势持续数年。而全世界的硬件总预算每年达 1 万亿美元,因此绝对的限制依然很远。
总的来说,考虑到上述数据、计算指数趋势的先例、机器学习特定硬件的研究以及经济激励,OpenAI 表示,他们相信这种趋势将持续下去。而只要这种趋势继续下去,就值得人们为远远超出当今能力的 AI 系统的影响做好准备。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论