京东AI技术在端侧的应用实践
极客时间编辑部
讲述：初明明大小：5.33M时长：05:49
你好，欢迎收听极客视点。
随着技术进步，手机等移动设备已成为非常重要的本地深度学习载体，然而日趋异构化的硬件平台和复杂的终端侧的使用状况，让 AI 技术在端侧的应用能力颇受挑战。最近，InfoQ 记者赵钰莹采访了京东云与 AI 视觉研发部的产品经理张志强，了解京东 AI 技术在端侧的应用，供你借鉴。
AI 技术在端侧能解决什么问题？
张志强表示，端侧其实是相对于云中心侧来讲的。云中心侧其实是一种集中式服务，所有采集和感知到的视频、图像数据都通过网络传输到云中心侧进行后续处理。云侧的资源高度集中并且具有很高的通用性，但是随着 IoT 设备和数据的指数爆发式增长，云侧的集中式计算模型慢慢暴露出了很多不足，比如数据处理的实时性，网络条件制约，数据安全等。
AI 技术用于端侧也就是我们常说的边缘计算，张志强表示，这种模式可以更好地支持 AIoT 场景，具有如下优点：
一是 AI 技术用于端侧可以第一时间对收集的数据进行处理，不需要通过网络上传到云侧的处理中心，极大加快了系统响应也减少了系统处理延迟，5G 技术的普及也为端侧处理提供了保证；
二是端侧计算可以更高效地处理有价值的关键数据（大约 20%），其余的数据（大约 80%）只是临时性的，在端侧结合 AI 能力，不仅可以更及时处理数据，而且减轻网络带宽的限制和缓解对中心侧数据存储的压力；
三是在端侧的 AI 技术可以高效地对用户的源数据进行处理，将一些敏感的数据进行清洗和保护，端侧设备只将 AI 处理后的结果进行上报。
总的来说，AI 在边缘侧的执行可以实时进行数据处理，实时响应，有效降低因数据传送到云计算中心而导致的延迟。
京东端侧 AI 技术实践
2019 年中，京东云与 AI 视觉研发部开始规划在端侧场景下的 AI 视频分析平台 mVCG-Air，与该版本相呼应的是在云端场景部署的 mVCG-Pro，二者统称为 mVCG（mega-Video Computing Grid），也就是超大规模的视频计算分析网络。
有必要统一模型研发流程
综合整个实践过程，张志强表示，非常有必要统一所有模型的研发流程，使得模型研发之初的特征工程到模型训练，再到推理上线等做统一的规划。比如，京东同一个模型未来可能会在不同的场景都需要部署落地，有的是基于边缘计算的 mVCG-Air 部署，有的是基于云中心的 mVCG-Pro 进行部署，那么就需要有统一的模型训练和转换机制。同时，同一个模型有可能会在不同的边缘硬件上进行部署，在模型设计之初就需要考虑后续的一致性等问题。
资源调度设计
关于资源调度，其实包括边缘侧 mVCG-Air 和中心侧 mVCG-Pro 的调度，也包括 mVCG-Air 管理的设备之间的调度。张志强表示，在 mVCG 内部有个很重要的模块组件，就是模型仓库，与其相关联的有算力调度，任务调度等。
算法仓库体系架构使得智能分析能力不再固化在 mVCG 的产品中，实现“一套平台，多种算法”，具有系统高可用、资源高利用率、算法灵活开放等优势。基于算法仓库可以对 mVCG 所有算法模型进行统一高效管理，包括模型管理、模型灰度部署、模型发布、模型升级、模型算法版本管理。每个模型都有自己的画像 Model Profile，通过分布式组件，根据模型画像和当前业务负载实现模型算力的灵活分配和调度，所有模型算法是基于插件机制实现灵活部署、自动分配、快速加载、高效运行和无感知版本更新。
硬件选型
事实上，软件层面的定制优化永无止境，这包括模型加速推理，模型量化剪枝，让模型体积更小，占用资源小同时又不失精度。当然，软件层面的优化工作也需要取决于边缘侧设备的开放程度。
除了软件层面的能力，AI 所需的超强算力必须有合适的硬件与之相匹配。张志强表示，京东云与 AI 视觉研发部 mVCG-Air 在研发过程中使用了 ARM 架构的 CPU+NPU，现在不断有更新、更快的硬件加速卡或者是端侧产品推出，选取性价比最高，同时最适合业务场景的才是最好的。
接下来，张志强透露，mVCG-Air 将继续赋能感知设备以智能，并融合云端物联网和信息网的数据，实现对人（人脸、人体）、车、物体、场景、行为的全息感知，同时深入挖掘多维数据的潜在价值。应用的重点包括京东内部的很多重要场景，也包括对外的场景，比如智慧园区，智慧城市，智慧车站，智慧警务等。
以上就是京东 AI 技术在端侧的应用实践，希望能给你带来参考价值。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
全部留言(1)
- 最新
- 精选
小斧一是 AI 技术用于端侧可以第一时间对收集的数据进行处理，不需要通过网络上传到云侧的处理中心，极大加快了系统响应也减少了系统处理延迟，5G 技术的普及也为端侧处理提供了保证； 二是端侧计算可以更高效地处理有价值的关键数据（大约 20%），其余的数据（大约 80%）只是临时性的，在端侧结合 AI 能力，不仅可以更及时处理数据，而且减轻网络带宽的限制和缓解对中心侧数据存储的压力； 三是在端侧的 AI 技术可以高效地对用户的源数据进行处理，将一些敏感的数据进行清洗和保护，端侧设备只将 AI 处理后的结果进行上报。
收起评论