

登录注册

当前播放: CPU服务器中如何高效实现TensorFlow模型推断？







00:00 / 00:00

高清

高清

1.0x

2.0x
1.5x
1.25x
1.0x
0.5x



网页全屏



全屏

00:00

付费课程，可试看

合辑：新版短视频



程序员怎么利用副业赚钱？

亿级平台HBase集群到底如何配置？

在自动化测试过程中如何搭建Mock Server？

自动化测试中，如何融合API测试和UI测试?

流控算法哪家强？

怎样做好一个开源项目？

活用工具解决网络问题

HTTP协议的性能测试脚本，到底该怎么写？

Go语言依赖管理Go Module的正确使用姿势

如何快速构建Java注解处理器？

网络传输中为什么需要压缩视频？

互联网大厂如何玩转代码评审？

负载均衡除了算法策略，你还应该知道哪些？

怎样利用线上日志排查问题？

如何从蛛丝马迹中分析系统间调用出现的问题？

如何做好容量评估？

如何通过反垃圾邮件引擎来理解机器学习？

微服务的SLA服务可用性等于4个9，我是怎么做到的？

影响性能的关键环节和性能指标有哪些？

文件资源是如何影响到网站性能的？

创业案例分享：从冷启动到实现百万营收都要做哪些事情？

新入行的测试工程师，如何进阶为测试专家？

如何高效地实施 CSS 方法论中的BEM？

利用FP、FMP和FCP如何评估应用首屏性能？

如何基于可靠事件模式实现数据最终一致性？

Server与Web常用的功能自动化测试框架该如何选择？

Target事件中体现了哪些数据道德与法律问题？

彻底掌握JVM内存设置的金钥匙

如何基于微内核架构解决系统扩展性问题？

到底什么是列式存储？它凭啥速度飞快？

如何有效识别和解决代码中存在的循环依赖问题？

11分钟搞定JVM的双亲委派机制

如何搭建一套前端监控系统？

如何实现Flutter自动化埋点？

如何使用JMeter设计混合交易容量场景？

如何使用可编程前置处理器开发JMeter脚本？

论全链路压测的手段与技巧

如何编写出优雅的Go程序？

Go语言开发中的常见陷阱与规避方法

支付中台对账中心如何建设？

一个基本的支付系统由哪些部分组成？

CPU服务器中如何高效实现TensorFlow模型推断？

开发人员必须要了解的Web安全隐患和防御措施

机房搬迁或上云，系统该如何做到平滑迁移？

如何自定义你的Video播放器？

如何确保分布式场景下的并发幂等性？

如何设计一个良好的API接口？

如何深入理解分布式事务中的可靠消息投递机制？

如何在数据库中存储密码更安全？

如何有效且优雅地记录数据变更历史？

CPU服务器中如何高效实现TensorFlow模型推断？

张利资深深度学习工程师

由于成本和已有集群的考虑，很多公司希望能够在 CPU 服务器集群上，运行模型推理，同时又达到必要的性能要求。近几年 Intel 在它的 CPU 服务器上，做了很多深度学习算子上的深度优化，尤其在 Xeon 处理器上，但我们默认安装的 CPU TensorFlow，运行性能往往没有那么理想，整体的 CPU 算力利用率不高。如何在已有的 CPU 服务器中，运行 TensorFlow 模型推断，并获得较好的性能呢？

讲师介绍

张利，资深深度学习工程师，分布式深度学习开源框架核心成员，前百度工程师。目前就职于知名外企研发中心。主要专注于分布式深度学习架构的研发和设计，深度学习模型和应用层面的性能优化等。

展开



¥4.99 购买

开通VIP







登录后留言

精选留言(4)

梁倚蔚

运算符的合并能应用到大部分的模型中了，的确是能很好地提高模型的性能

2020-05-27



 1
PYRRHIC_

请教老师只有tensorflow python版本有这些优化嘛？还是tensorflow go版本和c++版本都有？

作者回复: 所有语言版本都是可以的，这些优化是做在backend，需要自己编译tf的时候config中使用mkl。

2020-04-23



 1
Geek_CK2020

非常清晰易懂。请教老师，这些Intel的运行优化也支持Inte Core i7的Laptop吗？还是只支持特定型号的Xeon处理器？

作者回复: 支持，只是提升的比例可能没有那么高，推荐使用Xeon感受下高性能哈。

2020-04-22



 1
安一茳

感谢分享！这个优化对于使用c++调用API的使用方式是否有效呢？

2020-05-22

 1

