谷歌、百度等联合发布机器学习新基准MLPerf
极客时间编辑部
讲述：丁婵大小：1.23M时长：02:42
近日，来自学界和业界的多个组织，包括谷歌、百度、英特尔、AMD、哈佛和斯坦福，共同发布了新型基准 MLPerf，用于衡量机器学习软硬件的速度。
长期以来，市场上的 AI 性能对比一直比较粗略，鱼龙混杂且通用性不足，难以作为参考。同时，目前大部分 AI 性能对比都是由既得利益者发布，比如英特尔发布博客展示了使用 RNN 执行机器翻译时选择软硬件的相关数据。
这并不是在针对英特尔。此类对比通常包含有用的见解，但是它们通常用于展示一方相比另一方的优势。标准化基准则可以缓解这一状况。
而 MLPerf 宣称其主要目标是：
通过公平、有用的度量来加速机器学习的进展；
推动互相竞争的系统之间的公平对比，同时鼓励创新，以提升机器学习领域的当前最优水平；
使基准测试可负担，所有人都可以参与其中；
服务商业和研究社区；
强制要求复现性，以确保结果的可靠性。
MLPerf 正在模拟之前的一些成功尝试，比如标准性能评估组织 SPEC。SPEC 于 1988 年由多个计算公司联合成立，它加速了通用计算方面的进步。
据介绍，MLPerf 套装中的 7 个基准，每一个都有参考实现：
图像分类参考 ResNet-50 v1（ImageNet）
目标检测参考 Mask R-CNN（COCO）
语音识别参考 DeepSpeech2（Librispeech）
翻译参考 Transformer（WMT English—German）
推荐参考 Neural Collaborative Filtering（MovieLens 20 Million (ml-20m)）
情感分析参考 Seq-CNN（IMDB 数据集）
强化学习参考 Mini-go（预测 pro 游戏中的移动）
每个参考实现提供了：至少在一个框架中实现模型的代码；可用于在一个容器内运行基准的 Dockerfile；下载合适数据集的脚本；运行模型训练和计时的脚本，以及数据集、模型和机器设置的相关文档。
目前，MLPref 已经在 GitHub 上开源，但仍然处于非常早期的阶段，MLPref 强调，这次发布的更像是一个内部测试版，这一基准仍然在开发和精炼中，并期待在五月末能基于用户输入进行大幅更新。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论