Spark开源全流程机器学习平台MLflow
极客时间编辑部
讲述：杜力大小：1.13M时长：02:28
近日，Spark 和 Mesos 的核心作者马泰·扎哈里亚（Matei Zaharia）宣布，推出开源机器学习平台 MLflow，这是一个能够覆盖机器学习全流程（从数据准备到模型训练到最终部署）的新平台，旨在简化数据科学家构建、测试和部署机器学习模型的复杂过程。
马泰表示，研究的主要工作是为开发者提供类似谷歌 TFX 等平台的好处，但是要以开放的方式，不仅要在开源的意义上开放，而且是可以使用任何工具和算法上开放。
据悉，MLflow 的灵感来源于现有的机器学习平台，但以开放性作为主要设计目标：
开放接口：MLflow 可以与任何机器学习库、算法、部署工具或编程语言一起使用。它是基于 REST API 和简单的数据格式（例如，可将模型视为 lambda 函数）而构建的，可以使用各种工具，而不只是提供一小部分内置功能。用户可以很容易地将 MLflow 添加到现有的机器学习代码中，并且在组织中共享代码，让其他人也能运行这些代码。
开源：MLflow 是一个开源项目，用户和机器学习库开发人员可以对其进行扩展。此外，利用 MLflow 的开放格式，开发者可以轻松地跨组织共享工作流的步骤和模型。
目前，Mlflow 仍然处于 alpha 阶段，但是它已经提供了一个可用的框架来处理机器学习代码。
据介绍，MLflow 的 alpha 版本包含了三个组件：
MLflow 的跟踪组件提供了一组 API 和用户界面，用于在运行机器学习代码时记录参数、代码版本、度量指标和输出文件。用户可以使用跟踪组件（通过独立脚本或 notebook），将结果记录到本地文件或服务器上，然后通过 Web UI 来对结果进行查看和比较。
MLflow 的项目组件提供了一种打包可重用代码的标准格式。项目可以是一个包含代码的目录，也可以是 Git 仓库，并使用了一个描述符文件来描述依赖关系，以及如何运行代码。
MLflow 的模型组件提供了一种将机器学习模型打包成多种格式的规范，这些格式被称为“flavor”。MLflow 提供了多种工具来部署不同 flavor 的模型。
直到目前，MLflow 才刚刚展露头角，因此还有很多事情要做。官方表示，后续计划引入新组件（如监控）、与其他库的集成以及扩展已发布的组件（例如支持更多环境类型）。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论