模型压缩 - Quantization Mimic

《Quantization Mimic: Towards Very Tiny CNN for Object Detection》

常见的模型压缩方法有：量化（BinaryNet）、分组卷积（ShuffleNet、MobileNet）、剪枝和 Mimic。Mimic 前身是知识蒸馏，属于迁移学习

算法过程：
1、训练一个 FP32 的教师网络（Teacher Network）
2、对 feature map 进行量化，得到量化后的教师网络
3、Teacher-Student Network，得到一个量化后的学生网络

量化后的网络，可以通过 FPGA 加速。

当学生网络过小的时候，Mimic方法可能学不到 high-level representations from teacher networks。量化后的网络的 feature map 的搜索空间会减少很多，更容易训练

Mimic 使用 L2 损失

转载于:https://www.cnblogs.com/viredery/p/quantization_mimic.html