百度正式发布RL模型库和算法框架PARL
极客时间编辑部
讲述：丁婵大小：2.33M时长：02:33
近日，百度正式发布了深度强化学习框架 PARL，同时开源了基于该框架的、在 NeurIPS 2018 强化学习赛事中夺冠的模型完整训练代码。
据了解，PARL（PAddlepaddle Reinfocement Learning）是一款基于百度 PaddlePaddle 打造的深度强化学习框架，与现有强化学习工具和平台相比，具有更高的可扩展性、可复现性和可复用性，支持大规模并行和稀疏特征，能够快速对工业级应用案例的验证。
为了帮助用户快速搭建可以和环境交互的机器人，PARL 抽象出数个基础类，包括 Model、Algorithm、Agent 等。其中，Model 类负责强化学习算法中的网络前向计算（forward）部分，通常嵌套在 Algorithm 类中。Algorithm 类则定义了网络的更新机制（backward），通常属于一个 Agent。Agent 类负责和环境进行交互，负责数据 I/O，并且收集数据训练集下的 Algorithm。
通过这样的设计方案，PARL 保证了算法的可扩展性，针对同一个场景，用户想调研不同的网络结构对算法效果影响的时候，比如调研 RNN 建模或者 CNN 建模，只需要重写 model 部分即可。针对不同场景想用同一个算法调研的时候，也是只需要重写 model 即可。
同时，PARL 的这种结构设计方式也保证了高复用性。仓库内提供了大量经典算法的例子 （Algorithms 目录内），包括主流的 DQN 、DDQN、DDPG、PPO 等。值得注意的是，这些算法由于和网络结构进行了解耦（网络结构的定义在 Model 类中），因此，算法并不针对特定任务，而相当于一个通用的算法抽象。
此外，由于 PARL 基于百度内部的成熟应用开源，因此更能方便地定制大规模并行算法。通过调用简单的函数接口，用户可以将算法从单机版扩展成 GA3C、A3C、IMPALA 等并行训练架构。PARL 对于通讯机制，数据 I/O 等也有独特的加速处理。此外，基于 PaddlePaddle 对大规模工业级排序 / 推荐等稀疏模型的支持能力，PARL 也能轻松地扩展到百亿级别数据或特征的训练。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论