小米开源自研移动端深度学习框架MACE
极客时间编辑部
讲述:丁婵大小:1.17M时长:02:33
近日,小米人工智能与云平台副总裁崔宝秋博士,在开源世界高峰论坛上进行了演讲,并在会上宣布,开源小米自研的移动端深度学习框架 MACE (Mobile AI Compute Engine)。
据介绍,MACE 是专门为移动设备优化的深度学习模型预测框架,从设计之初,就针对移动设备的特点进行了专门的优化,具体包括:
1. 速度:对于放在移动端进行计算的模型,一般对整体的预测延迟有着非常高的要求。在框架底层,MACE 针对 ARM CPU 进行了 NEON 指令级优化;针对移动端 GPU,实现了高效的 OpenCL 内核代码。同时在算法层面,采用了 Winograd 算法对卷积进行加速。
2. 功耗:移动端对功耗非常敏感,框架针对 ARM 处理器的 big.LITTLE 架构,提供了高性能、低功耗等多种组合配置。针对 Adreno GPU,提供了不同的功耗性能选项,使得开发者能够对性能和功耗进行灵活的调整。
3. 系统响应:对于 GPU 计算模式,框架底层对 OpenCL 内核进行分拆调度,保证 GPU 渲染任务能够更好的抢占调度,从而保证系统的流畅度。
4. 初始化延迟:在实际项目中,初始化时间对用户体验至关重要,框架对此进行了针对性的优化。
5. 内存占用:通过对模型的算子进行依赖分析,引入内存复用技术,大大减少了内存的占用。
6. 模型保护:对于移动端模型,知识产权的保护往往非常重要,MACE 支持将模型转换成 C++ 代码,大大提高了逆向工程的难度。
此外,MACE 还支持 TensorFlow 和 Caffe 模型,并提供了转换工具,可以将训练好的模型转换成专有的模型数据文件,同时还可以选择将模型转换成 C++ 代码,支持生成动态库或者静态库,提高模型保密性。
目前,MACE 已经在小米手机上的多个应用场景得到了应用,其中包括相机的人像模式、场景识别、图像超分辨率、离线翻译(即将实现)等。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线
笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》,如需阅读全部文章,
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有,未经许可不得传播售卖。 页面已增加防盗追踪,如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示,欢迎踊跃留言。
收起评论