阿里开源首个深度学习框架X-Deep Learning
极客时间编辑部
讲述：丁婵大小：2.75M时长：03:00
近日，阿里妈妈正式对外发布了 X-Deep Learning（XDL）的开源代码地址，开发者们可以在 GitHub 上自主下载。
一直以来，以深度学习为核心的人工智能技术，过去的几年在语音识别、计算机视觉、自然语言处理等领域获得了巨大的成功，其中以 GPU 为代表的硬件计算力，以及优秀的开源深度学习框架起到了巨大的推动作用。
尽管以 TensorFlow、PyTorch、MxNet 等为代表的开源框架已经取得了巨大的成功，但是在把深度学习技术应用在广告、推荐、搜索等大规模工业级场景时，这些框架并不能很好的满足开发者的需求。
不少产品应用需要大规模深度模型的实时训练与更新，现有开源框架在分布式性能、计算效率、水平扩展能力，以及实时系统适配性的等方面，往往难以满足工业级生产应用的需求。
X-Deep Learning 正是面向这样的场景设计与优化的工业级深度学习框架，经过阿里巴巴广告业务的锤炼，XDL 在训练规模和性能、水平扩展能力上都表现出色，同时内置了大量的面向广告、推荐、搜索领域的工业级算法解决方案。
据介绍，该框架的系统核心能力包括以下内容：
为高维稀疏数据场景而生。支持千亿参数的超大规模深度模型训练，支持批学习、在线学习等模式。
工业级分布式训练能力。支持 CPU/GPU 的混合调度，具备完整的分布式容灾语义，系统的水平扩展能力优秀，可以轻松做到上千并发的训练。
高效的结构化压缩训练。针对互联网样本的数据特点，提出了结构化计算模式。典型场景下，相比传统的平铺样本训练方式，样本存储空间、样本 IO 效率、训练绝对计算量等方面都大幅下降，推荐等场景下整体训练效率最大可提升 10 倍以上。
成熟的多后端支持。单机内部的稠密网络计算复用了成熟开源框架的能力，只需要少量的分布式驱动代码修改，就可以把 TensorFlow/MxNet 等的单机代码运行在 XDL 上，获得 XDL 分布式训练与高性能稀疏计算的能力。
此前，在 11 月底，阿里妈妈就公布了这项开源计划，引来了业界的广泛关注。XDL 突破了现有深度学习开源框架大都面向图像、语音等低维稠密数据而设计的现状，面向高维稀疏数据场景进行了深度优化，并已经大规模应用于阿里妈妈的业务及生产场景。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(2)
- 最新
- 精选
arthur young这个框架可以做ocr技术吗1
守护.同楼上问题.
收起评论