IBM 全新AI芯片,能效超GPU的100倍
极客时间编辑部
讲述:丁婵大小:1.18M时长:02:35
最近,IBM 团队研发了一个新型存储器,能效超过 GPU 的 100 倍。他们用大规模的模拟存储器阵列,来训练深度神经网络 DNN,研究人员相信,这是在下一次 AI 突破硬件加速器上的重要一步。
在今后,人工智能将需要大规模可扩展的计算单元,无论是在云端还是在边缘上,DNN 都会变得更大、更快,这就需要能效必须显著提高。虽然更好的 GPU 能够在某种程度上起到帮助,但是这些系统会在数据的传输上,花费大量的时间和精力。
现在,AI 研究人员已经开始意识到,即使是大幅度降低运算的精度,DNN 模型也能良好地运行。因此,对于 DNN 来说,模拟计算是可行的。
但是,此前还没有人给出确凿的证据,来证明使用模拟的方法所得到的结果,与在传统的数字硬件上运行的软件结果相同。也就是说,人们还不清楚 DNN 是不是真的能够通过模拟技术进行高精度训练,如果精度很低,那么训练速度再快、再节能,也没有意义了。
在 IBM 最新发表的论文中,研究人员通过实验,展示了模拟 NVM(非易失性存储器)能够有效地加速 BP(反向传播)算法,这些 NVM 存储器能够让 BP 算法中的“乘 - 加”运算在模拟域中并行。
研究人员将一个小电流通过一个电阻器,传递到一根导线中,然后将许多这样的导线连接在一起,使电流聚集起来,这样就实现了大量计算的并行。而且,所有这些步骤都是在模拟存储芯片内完成的,不需要数据在存储单元和和处理单元之间的传输过程。
虽然,当前的 NVM 存储器有着缺陷,以前的相关实验都没有在 DNN 图像分类任务上得到很好的精度。但是这一次,IBM 的研究人员使用新的技术,改善了很多不完善的地方,将性能大幅提升,在各种不同的网络上,都实现了软件级的 DNN 精度。
这些基于 NVM 的芯片在训练全连接层方面展现出了极强的能力,在计算能效和通量上,都超过了当前 GPU 的两个数量级。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论