Quantization Mimic: Towards Very Tiny CNN for Object Detection

本文提出了一种使用量化后的教师网络进行知识蒸馏来得到性能较好的用于目标检测的学生量化网络。

其框架如下：

首先训练一个全精度的大型网络，然后在训练阶段对其和学生网络的特征图同时进行量化。用L2损失来定义两个网络的差距。