腾讯AI Lab刘霁谈机器学习
极客时间编辑部
讲述：杜力大小：1.20M时长：02:37
今年 2 月，腾讯 AI Lab 专家研究员、美国罗彻斯特大学助理教授刘霁博士作为“发明家”入选 MIT TR35 China 榜单，其当选原因是“提出一系列异步并行算法，解决了传统同步并行算法瓶颈问题，并设计了机器学习中去中心化的并行计算框架，可以极大地减少通讯代价”。
近日，雷锋网就此采访了刘霁博士。在刘霁博士看来，目前并行计算的主要难点在于如何提高并行效率。
并行计算是提高计算机系统计算速度和处理能力的一种有效手段。它的基本思想是用多个处理器来协同求解同一问题，也就是将被求解的问题分解成若干部分，各部分都由一个独立的处理机来并行计算。在训练 AI 系统的时候，并行是提高计算效率的主要途径。
作为腾讯 AI Lab 的一员，刘霁博士表示，他们的研究集中在游戏 AI 上，比如王者荣耀、星际争霸。因为游戏 AI 是人工智能与博弈论的一个交叉领域，是理解通用人工智能的重要渠道。
据了解，刘霁团队最具开创性的工作有两个：
一是用异步的方式并行所有机器。每个机器只需要完成了分配的任务，就可以直接到中心的那个机器领取新的任务，不用跟其他机器协同或者等待。
这种方式完全打破了传统的同步并行方式，极大地节省了同步协同代价。现在异步并行技术已经广泛被机器学习软件采用，如谷歌的 TensorFlow、亚马逊的 MXNet、还有微软的 CNTK。
二是提出去中心化的并行框架。传统的并行架构都是假设有一个中心化的节点，来收集结果和分配任务给其他机器，这样做的主要问题在于中心节点会遭遇通讯拥堵，尤其是在网络条件不佳的状况下。
为了缓解这种问题，刘霁团队提出了一种去中心化的并行框架，简单来说就是去掉了中心节点，机器跟几个邻居之间互联通讯。这种方法相比于传统的中心化的方法，不会增加额外的计算量，可以有效缓解交通拥堵情况，从而提高并行效率。
刘霁认为，深度学习的热潮终将褪去，将来它很有可能成为大家都会的一种应用工具，而且使用也会越来越方便，甚至连自动调参都能实现，完全成为一种端到端的服务。
对此，他对研究并行优化、机器学习的同学给出了建议，与其现在猛追深度学习的热潮，不如多学数学、优化、统计，把基本功打得扎实一点，多看看比较难的文章，这样才能以不变应万变，迎接深度学习后的下一个热潮。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论