强化学习能否在2020年取得突破？
极客时间编辑部
讲述：丁婵大小：7.00M时长：05:06
强化学习对于实现人类的人工智能 / 机器学习技术的目标来说至关重要，但现在我们还有一些障碍需要克服。尽管可靠性和减少训练数据的目标在一年内就可能实现，但是，强化学习本质上是一种“黑盒”解决方案，其缺乏透明度的特性会带来很多质疑。那么，这些问题能否在 2020 年取得突破呢？最近， Data-Magnum 的总裁兼首席数据科学家比尔·沃利斯（Bill Vorhies）对此问题进行了分析，以下是他的观点。
尽管人工智能 / 机器学习在游戏领域、无人驾驶领域已经有一些成功案例了，但是，更进一步发展却遇到了阻碍，主要有两点，正如微软强化学习领域的首席研究员罗曼·拉罗什（Romain Laroche）所描述的那样：
“它们基本上是不可靠的。更糟糕的是，由于强化学习过程中的随机性，使用不同随机种子的两次运行的结果可能非常不同。”
“它们需要数十亿的样本才能获得结果，而在现实世界的应用中提取如此天量的样本是不可行的。”
由于强化学习解决方案是用随机种子启动的，因此，它们本质上是对状态空间的随机搜索。设想一下，两个启动算法随机进入这个潜在解决方案的巨大丛林，目标是找到最快的出路。尽管这两个解决方案可能达到相同的性能级别，但是，强化学习是众所周知的黑盒，它使我们无法了解系统为何及如何选择执行这一系列步骤。
Gartner 最近的报告《2020 年 10 大战略技术趋势》中提到了两个互相矛盾的目标，其中一个是关于智能设备（Autonomous things）。报告提到：“智能设备，包括无人机、机器人、船舶和家用电器，利用人工智能代替人类完成任务。该技术在半智能到完全智能的智能范围内运作，并能在包括天空、海洋和陆地等各种各样的环境中运作。智能设备也将从独立的设备向协作的集群转变，例如在 2018 年冬季奥运会上使用的无人机群。”
但该报告没有提到的是，要实现这一点将需要强大而可靠的强化学习。尽管有一些非常震撼人的机器人主要依靠物理运动的算法，而不是人工智能 / 机器学习技术，但行业需要强化学习才能走进下一个发展阶段。
而另一个趋势对强化学习来说将更加困难。也就是透明度和可追溯性。
报告提到：“技术的发展正在制造信任危机。随着消费者越来越关注自身信息被收集和使用的情况，各种组织也意识到存储和收集这些数据时所肩负的责任越来越大……此外，人工智能和机器学习越来越多地用于代替人类做出决策，从而演变出信任危机，并推动了对可解释的人工智能和人工智能治理等理念的需求。”
尽管我们很可能想到 GDPR 以及围绕着电子商务的隐私问题，但事实是，基于我们对人工智能 / 机器学习如何做出决策的理解，这些技术终将受到挑战。尤其是考虑到强化学习政策制定的随机性，以及两个成功的强化学习程序可以以完全不同的方式实现相同的目标，这将是一个难以克服的挑战。
可靠性问题
罗曼·拉罗什提出了两种技术，有望解决机器学习的可靠性问题。在其论文中，一个使用集成方法（EBAS），而另一个使用调整微调参数条件风险值（Conditional value at Risk，简称 CvaR，即最差运行的平均值），这两种技术都能提高性能并减少训练时间，同时限制强化学习运行的自然趋势，以在系统中找到及利用故障。如果实际投入生产，该系统可以导致成功的结果，但是包含某种形式的意外损害。后一种技术以 SPIBB（Safe Policy Improvement with Baseline Bootstrapping）命名，即具有基线引导的安全策略改进。
该集成方法借鉴了机器学习中的相同概念，并且与遗传算法选择训练过程中的搜索过程类似，从而得到了一些很好的结果。
第一种技术的算法学习速度更快，而且最终不会降低性能。
透明度问题
可靠性问题以及另一个海量训练数据的需求问题将把人们引向透明度问题。比如，无人驾驶汽车在发生人员伤亡后所受到的审查。对比人类操作人员犯错，我们对机器犯错的容忍度更低。
毫无疑问，强化学习将在 2020 年做出重大贡献，但是，想要实现一个经过验证的、可被商业接受的方案将会面临很多障碍，而且其缺乏透明性的问题，不太可能在一年内完全解决。
以上就是今天的内容，对于强化学习的进一步发展，你有何看法呢？
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论