腾讯开源自动化模型压缩框架PocketFlow
极客时间编辑部
讲述：丁婵大小：1.48M时长：03:14
近日，腾讯 AI Lab 机器学习中心宣布，成功研发出了世界上首款自动化深度学习模型压缩框架 PocketFlow，并即将在近期发布开源代码。
这是一款面向移动端 AI 开发者的自动模型压缩框架，集成了当前主流的模型压缩与训练算法，结合自研超参数优化组件实现了全程自动化托管式的模型压缩与加速。通过集成多种深度学习模型压缩算法，并创新性地引入超参数优化组件，极大地提升了模型压缩技术的自动化程度。
据介绍，PocketFlow 框架主要由两部分组件构成，分别是模型压缩 / 加速算法组件和超参数优化组件。开发者将未压缩的原始模型作为 PocketFlow 框架的输入，同时指定期望的性能指标，在每一轮迭代的过程中，超参数优化组件会选取一组超参数取值组合，之后模型压缩 / 加速算法组件基于该超参数取值组合，对原始模型进行压缩，得到一个压缩后的候选模型，以及基于对候选模型进行性能评估的结果，
超参数优化组件通过调整自身的模型参数，并选取一组新的超参数取值组合，以开始下一轮迭代过程。当迭代终止时，PocketFlow 会选取最优的超参数取值组合，以及对应的候选模型作为最终输出，返回给开发者用作移动端的模型部署。
通过引入超参数优化组件，不仅避免了高门槛、繁琐的人工调参工作，同时也使得 PocketFlow 在各个压缩算法上，全面超过了人工调参的效果。
在 CIFAR-10 数据集上，PocketFlow 以 ResNet-56 作为基准模型进行通道剪枝，并加入了超参数优化和网络蒸馏等训练策略，实现了 2.5 倍加速下分类精度损失 0.4%，3.3 倍加速下精度损失 0.7%，而且显著优于未压缩的 ResNet-44 模型；
在 ImageNet 数据集上，PocketFlow 可以对原本已经十分精简的 MobileNet 模型继续进行权重稀疏化，以更小的模型尺寸取得相似的分类精度；
与 Inception-V1 、ResNet-18 等模型相比，模型大小仅为后者的约 20~40%，但分类精度基本一致，甚至更高。
事实上，深度学习模型的压缩与加速是当前学术界的研究热点之一，同时在工业界中也有着广泛的应用前景。随着 PocketFlow 的推出，开发者无需了解模型压缩算法的具体细节，也不用关心各个超参数的选择与调优，就可以基于这套自动化框架，快速得到可用于移动端部署的精简模型。
公开
同步至部落
取消
完成
0/2000
荧光笔
直线
曲线笔记
复制
AI
- 深入了解
- 翻译
- 解释
- 总结
该免费文章来自《极客视点》，如需阅读全部文章，
请先领取课程
请先领取课程
免费领取
© 版权归极客邦科技所有，未经许可不得传播售卖。 页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
登录 后留言
精选留言
由作者筛选后的优质留言将会公开显示，欢迎踊跃留言。
收起评论