IBM发布全新机器学习库SnapML
极客时间编辑部
讲述：杜力大小：1.19M时长：02:37
近日，在拉斯维加斯举行的 IBM THINK 2018 大会上，IBM 宣布了一项与机器学习性能有关的重大突破，他们在过去两年开发了一个新的机器学习库 Snap ML（IBM Snap Machine Learning）。之所以把它叫作 Snap，是因为 IBM 相信用它来训练模型就是弹指一挥间的事。
据了解，这个机器学习库提供了非常快的训练速度，可以在现代 CPU 或 GPU 系统上训练主流的机器学习模型，或者在有新数据可用时保证已有模型的速度保持在线速水平，也就是网络能够支持的最快速度，这意味着 Snap ML 将具有更低的计算成本、更少的能源消耗和更快的开发速度。
IBM 团队使用一组由 Criteo 实验室发布的广告数据集（包含了 40 亿个训练样本）来训练逻辑回归分类器，结果只花了 91.5 秒就完成了整个训练过程，这一成绩比之前报告的最好成绩快了 46 倍。2017 年 2 月，谷歌云官方博客披露了一组实验数据，他们在谷歌云平台上使用 TensorFlow 训练同样的模型，结果花了 70 分钟。
Snap ML 刷新了已有的基准性能数据。
Snap ML 可以适用于多种场景。首先是拥有大量数据的应用程序，在这种场景下，需要解决训练时间瓶颈问题。其次是实时或近实时的应用程序，在这种场景下，模型会快速发生变更，同样对训练速度提出了很高的要求。第三个是集成学习（Ensemble Learning）领域。
众所周知，现如今要想在数据科学领域的竞争中胜出，很大程度上要依赖大型的模型群组。为了设计出有竞争力的模型群组，数据科学家通常需要花费大量的时间去尝试各种模型组合和大量的超参数。在这种情况下，只有把训练速度提升一个数量级，才有可能加快研发速度，以便在竞争中胜出。
据了解，Snap ML 采用最先进的算法和最优的系统设计，充分利用硬件资源，从而提供了更快的训练速度。Snap ML 的三个主要特性如下：
分布式训练：Snap ML 是一个可以自由伸缩的数据并行框架，训练数据集可以超出单台机器的内存容量，这对于大型应用程序来说是至关重要的。
GPU 加速：Snap ML 实现了一些特殊的程序，可以充分利用 GPU 的并行特性，同时在 GPU 内存中保留数据，减少数据传输开销。
稀疏数据结构：大部分机器学习数据集都是稀疏的，为此，他们对稀疏数据结构的相关算法进行了优化。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论