TensorFlow发布首个优化工具包
极客时间编辑部
讲述：杜力大小：1022.31K时长：02:11
近日，TensorFlow 发布了一个新的优化工具包，引入 post-training 模型量化技术，将模型大小缩小了 4 倍，执行速度提升 3 倍。这是一套可以让开发者，无论是新手还是高级开发人员，都可以用来优化机器学习模型以进行部署和执行的技术。
这些技术对于优化任何用于部署的 TensorFlow 模型都非常有用。特别是对于在内存紧张、功耗限制和存储有限的设备上，提供模型的 TensorFlow Lite 开发人员来说，这些技术尤其重要。
据悉，这次添加支持的第一个技术，是向 TensorFlow Lite 转换工具添加 post-training 模型量化（post-training quantization）。通过量化模型，开发人员将会获得降低功耗的额外好处，这对于将模型部署到手机之外的终端设备是非常有用的。
据了解，post-training 量化的好处包括以下方面：
模型大小缩小 4 倍；
模型主要由卷积层组成，执行速度提高 10-50％；
基于 RNN 的模型可以提高 3 倍的速度；
由于减少了内存和计算需求，预计大多数模型的功耗也会降低。
该工具包的工作原理是，在底层，通过将参数（即神经网络权重）的精度从训练时的 32 位浮点表示降低到更小、更高效的 8 位整数表示，来运行优化（也称为量化）。
这些优化将确保将最终模型中精度降低的操作定义，与使用 fixed-point 和 floating-point 数学混合的内核实现配对。以较低的精度快速执行最繁重的计算，同时以较高的精度执行最敏感的计算，因此，通常会导致任务的最终精度损失很小，甚至没有损失，但相比纯浮点执行而言速度明显得到了提高。
对于没有匹配的“混合”内核的操作，或者工具包认为必要的操作，它会将参数重新转换为更高的浮点精度以便执行。
今后，团队将继续改进 post-training 量化技术以及其他技术，以便更容易地优化模型。这些将集成到相关的 TensorFlow 工作流中，使它们易于使用。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论