腾讯AI Lab主任张潼谈机器学习优化问题
极客时间编辑部
讲述：丁婵大小：1.40M时长：03:04
近日，腾讯 AI Lab 主任张潼博士在现代运筹学发展讨论会上发表了演说，作为机器学习领域的知名学者，他详细介绍了机器学习领域中优化的进展，以及大家比较感兴趣的研究课题。
机器学习里的优化相对比较窄，主要是跟数据有关，其中涉及到的数据类型主要有三种：第一种是统计分布上独立的数据，第二种是类似于图模型的数据，第三种是序列数据。而在这三种数据中，存在较多的结构都是求和。
首先，张潼介绍了随机优化领域，在这一领域中，人们比较感兴趣的方向是非凸优化，最近很多计算机理论学家都在做非凸优化方面的研究。非凸优化中引用得比较多的是 cubic 牛顿法，取得了一些很好的成果。
另一个大家可能研究的方向是二阶或三阶优化，这也跟随机有关，这里的研究包括怎么去做一些特殊设计的采样过程，主要是机器学习领域在进行研究。
提到跟加速有关的研究，张潼表示，这一领域比较早的研究方法有 momentum 算法、Heavy Ball 优化算法，后来又有 Nesterov 在凸优化问题中严格分析过的加速算法。张潼指出，现在人们感兴趣的可能是非凸问题上的加速，但实际上，在非凸情况下做不了加速，不过最新文章表明，在执行算法过程中可以检测凸性，一旦遇到凸性情况，就立即转换。
另外，在张潼看来，加速本身是确定性的，在随机优化上用起来不是很好，随机上只能通过加速增加 mini-batch 规模。另一个思路是把加速方法和随机算法叠加起来提升收敛速度，不过中间要经过一个过程，这个过程需要用一个 deterministic 形式作为转换才行。
在分享中，张潼还谈到了大规模分布式和多核优化的话题。他表示，第一步要做多核计算，第二步要做分布式计算，这是实际上的需求。从理论上来说，通信和计算的平衡比较受人关注，在这种结构里，如果有不同的计算单元，在执行算法的过程中需要进行信息的交换，信息交换了多少，计算时间有多少以及如何去平衡，这其中会存在很多相关研究，有同步的，也有异步的。
另外还有一个方向是以实用为导向的非凸优化算法研究，非凸优化除了解决深度神经网络中的问题，还能解决别的一些问题。
最后，张潼表示，虽然机器学习领域的问题比较窄，很多传统优化问题都不属于机器学习的研究范畴，但实际上也有很多有意思的问题，它们和优化紧密相连。机器学习领域在这些问题上钻研的相对比较深，常常做出一些超出优化领域本身的理论工作。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论