22｜模型轻量化：如何让模型运行在低配置设备上？

1. 参数剪枝是一种优化技术，通过减少模型中的参数数量来降低复杂性和运行成本，可以选择无结构剪枝或结构剪枝，并通过定义剪枝标准和实施剪枝来实现。 2. 在PyTorch中进行参数剪枝后，需要使用prune.remove函数将掩码应用到原始权重并移除剪枝带来的额外属性，以确保剪枝效果永久化并减少模型的大小。 3. 量化是将模型中的浮点类型的权重转换为低精度（如INT8或INT16）的过程，可以减少模型的存储空间需求，并在某些硬件上加速模型的推理速度。 4. 静态量化是在模型的推理阶段将权重和激活数据从浮点数转换为低精度整数的过程，需要一个校准步骤来决定最佳的量化参数，并在量化完后进行全面的测试。 5. 动态量化主要针对模型的权重进行量化，每次输入时都会重新计算量化参数，适合对推理速度有较高要求的应用场景，且不需要重新训练模型即可实现。 6. 知识蒸馏是一种训练技术，其中一个小的模型，被叫做学生模型，学习模仿一个大的已经训练好的模型，这个模型通常叫做教师模型。通过这种方式，小模型可以在保持较高性能的同时，显著减少参数数量。 7. 参数剪枝是一种非常实用的模型轻量化技术，分为加载模型、选择剪枝策略、定义剪枝标准、实施剪枝、微调训练、评估模型几个步骤。 8. 感知训练量化是指在训练过程中应用量化效果，使模型适应量化带来的精度损失，通常能保持或仅轻微影响模型的精度。 9. 知识蒸馏的基本步骤包括训练教师模型、定义学生模型、蒸馏过程和评估学生模型。 10. 教师模型的输出通常是经过Softmax函数处理的概率分布，被叫做“软标签”，能够提供关于各个类别相对可能性的更多信息，有助于学生模型更全面地理解数据。