极客视点
极客时间编辑部
极客时间编辑部
113231 人已学习
免费领取
课程目录
已完结/共 3766 讲
2020年09月 (90讲)
时长 05:33
2020年08月 (93讲)
2020年07月 (93讲)
时长 05:51
2020年06月 (90讲)
2020年05月 (93讲)
2020年04月 (90讲)
2020年03月 (92讲)
时长 04:14
2020年02月 (87讲)
2020年01月 (91讲)
时长 00:00
2019年12月 (93讲)
2019年11月 (89讲)
2019年10月 (92讲)
2019年09月 (90讲)
时长 00:00
2019年08月 (91讲)
2019年07月 (92讲)
时长 03:45
2019年06月 (90讲)
2019年05月 (99讲)
2019年04月 (114讲)
2019年03月 (122讲)
2019年02月 (102讲)
2019年01月 (104讲)
2018年12月 (98讲)
2018年11月 (105讲)
时长 01:23
2018年10月 (123讲)
时长 02:06
2018年09月 (119讲)
2018年08月 (123讲)
2018年07月 (124讲)
2018年06月 (119讲)
时长 02:11
2018年05月 (124讲)
时长 03:16
2018年04月 (120讲)
2018年03月 (124讲)
2018年02月 (112讲)
2018年01月 (124讲)
时长 02:30
时长 02:34
2017年12月 (124讲)
时长 03:09
2017年11月 (120讲)
2017年10月 (86讲)
时长 03:18
时长 03:31
时长 04:25
极客视点
15
15
1.0x
00:00/02:51
登录|注册

UC Berkeley开源AI分布式框架Ray

讲述:丁婵大小:1.30M时长:02:51
近日,UC Berkeley 研究员发布的分布式系统 Ray 宣布开源,伯克利官方 AI 博客对开源框架 Ray 做了详细介绍。开发者称,Ray 专门为人工智能应用设计,通过这款框架,运行于笔记本电脑上的原型算法,仅需要加入数行代码,就可以转化为高效的分布式计算应用。
目前,随着机器学习算法和技术的进步,出现了越来越多需要在多台机器并行计算的机器学习应用,然而,在集群计算设备上运行的机器学习算法目前仍是专门设计的。尽管对于特定的用例而言,这些解决方案的效果很好,同时 AI 领域之外也存在一些高质量的分布式系统,如 Hadoop 和 Spark,但是前沿开发者们仍然需要从头构建自己的系统,这意味着需要耗费大量时间和精力。
因此,Ray 的目标之一是让开发者可以用一个运行在笔记本电脑上的原型算法,仅需添加数行代码,就能轻松转为适合于计算机集群运行的高性能分布式应用。这样的框架需要包含手动优化系统的性能优势,同时又不需要用户关心那些调度、数据传输和硬件错误等问题。
同时,Ray 与 TensorFlow、PyTorch、MXNet 等诸多深度学习框架互相兼容,在很多应用上,在 Ray 中使用一个或多个深度学习框架都是非常自然的。
据官方介绍,Ray 有两种主要使用方法:通过低级 API 或高级库。高级库是构建在低级 API 之上的,目前它们包括 Ray RLlib,一个可扩展强化学习库,以及 Ray.tune,一个高效分布式超参数搜索库。
在 Ray 的低级 API 方面,其主要目的是让开发者能更自然地表达非常普遍的计算模式和应用,而不被限制为固定的模式。
据了解,Ray 应用的基础是动态任务图,这和 TensorFlow 中的计算图很不一样。TensorFlow 的计算图用于表征神经网络,在单个应用中执行很多次,而 Ray 的任务图用于表征整个应用,并且仅执行一次。任务图对于前台是未知的,随着应用的运行而动态地构建,并且一个任务的执行可能创建更多的任务。
在 Ray 的高级库方面,Ray RLib 是一个可扩展的强化学习库,建立的目的是在多个机器上运行,可以通过示例训练脚本或 Python API 来使用。同时,Ray.tune 又是一个高效的分布式超参数搜索库,它提供了一个 Python API 来执行深度学习、强化学习和其它计算密集型任务, 并支持网格搜索、随机搜索和更复杂的早停算法。
确认放弃笔记?
放弃后所记笔记将不保留。
新功能上线,你的历史笔记已初始化为私密笔记,是否一键批量公开?
批量公开的笔记不会为你同步至部落
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
  • 深入了解
  • 翻译
    • 英语
    • 中文简体
    • 中文繁体
    • 法语
    • 德语
    • 日语
    • 韩语
    • 俄语
    • 西班牙语
    • 阿拉伯语
  • 解释
  • 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
免费领取
登录 后留言

全部留言(1)

  • 最新
  • 精选
  • 🌻Leonora🌼
    官方好用
收起评论
显示
设置
留言
1
收藏
14
沉浸
阅读
分享
手机端
快捷键
回顶部