甲骨文开源GraphPipe
极客时间编辑部
讲述:杜力大小:1.15M时长:02:31
最近,甲骨文开源了通用深度学习模型部署框架 GraphPipe,它可以让模型在各种框架之间轻松转换。甲骨文称,这一新工具可以提供跨深度学习框架的模型通用 API、开箱即用的部署方案以及强大的性能。
目前,GraphPipe 已经支持 TensorFlow、PyTorch、MXNet、CNTK 和 Caffe2 等框架,以及支持 Python、Go 和 Java 语言。
一直以来,ML 的开发者经常会发现,已有的模型服务方案存在着非一致性和低效的问题。在缺乏一致、能用于不同模型服务器的通信协议下,开发者经常需要为每一个工作负载构建定制客户端。而 GraphPipe 通过一种高效的通信协议解决了这些问题,并为主流的机器学习框架提供了简单的模型服务器。
据了解,GraphPipe 是一个用于简化机器学习模型部署,并将其从特定框架的模型实现中解放出来的协议和软件集合。GraphPipe 为在网络上传递张量数据提供了一个标准、高性能的协议,以及提供了客户端和服务器的简单实现,因此,从任何框架部署和查询机器学习模型都变得轻而易举。
此外,GraphPipe 还提供了用 Go 语言编写的参考模型服务器,以简化部署机器学习模型的过程。根据甲骨文的经验,将现有的模型转换成通用的格式可能会存在很多缺陷。因此,GraphPipe 提供了能够本地运行最常见的 ML 模型格式的模型服务器。
虽然 Go 语言并不是机器学习领域里最常见的语言,但它是构建高效服务器的理想选择。它的特性使得 Go 语言成为了一种优秀的协作语言,这也是 GraphPipe 模型服务器选择它的原因。在性能测试期间,GraphPipe 的 Go 代码实现了与纯 C++ 编写的 TensorFlow-serving 优化构建几乎相同的性能。
为了最大限度地提高各种服务器构建之间的兼容性,并且同时最大化性能,服务器的 CPU 构建块需要通过 MKL 编译。在使用 GraphPipe 服务器的默认配置时,CPU 和 GPU 可以使用相同的模型并接受相同的输入。当然,也有可能应用需要使用不同的最优化或通道顺序。因此对于这种情况,应该直接调整源代码,以构建满足开发者需求的自定义版本。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论