张磊,爱奇艺研究员
随着人工智能技术在多媒体领域的广泛应用, 深度学习算法的部署对计算平台资源的需求也在飞速增长。由于 GPU 资源总数和成本的限制,我们设计和部署了基于 CPU 的深度学习推理优化方案。
方案通过封装 Intel VINO SDK 提供的基于 CPU 的深度学习加速底层软件,结合 docker 及 mesos 集群技术,完成深度学习算法在云端部署的自动化和服务化,将深度学习推理的性能在 CPU 上提升了 2~10 倍以上,满足多媒体业务的深度学习部署需求, 解决了 GPU 资源的依赖和稀缺问题。