[目标检测知识蒸馏3] [AAAI22] Knowledge Distillation for Object Detection via Rank Mimicking and Prediction

[AAAI22] Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation

Motivation

导致 Student 网络性能差的两个原因：

• 候选框 bbox 差别很大：如图所示，对于简单的目标 (图a)，两个模型的最终留下的 bbox 是由同一个 anchor 回归的 (对于 anchor-free 方法是 anchor points)。但是，对于难一点的 bbox (图b) ，却是由不同的 anchor 回归。对于难例样本，两者的 anchor 置信度不同。
  
• Student 和 teacher 的特征和预测之间都存在着较大 gap。特征差异性 $(F_{dif} = F_{tea} - F_{stu}) $和预测差异性 $(P_{dif}=P_{tea}-P_{stu})$，是直接通过特征图相减得到的。关键是：二者 gap 位置是不一样的 (图中 inconsistency 处)。这表明这部分区域特征差异性很大，预测差异性却很小。故不需要将对应的特征差异性用来蒸馏。预测指导特征模仿的思路：用预测差异性来指导特征模仿学习。
  

Method

基于上述两个问题，作者提出了 Rank Mimicking (RM) 和 Prediction-guided Feature Imitation (PFI) 对一阶段的检测器进行蒸馏。前者将 teacher 对候选框的排序作为一种待蒸馏的知识；后者用预测差异性来指导特征差异性，可以提高 student 模型的检测结果。

Rank Mimicking

• 对于一个目标 $j$，假设有 $N$ 个 anchor 负责对该个物体进行预测 (positive anchor)。对 student 和 teacher 网络，计算得到这 $N$ 个 anchor 的预测的类别分数。
• 分别对 student 网络和 teacher 网络的 positive anchor 类别分数进行 softmax，得到其预测分布：
  $$s_i^{j^{\prime }}=\frac{\text{exp}(s_i^j)}{{\sum }_{m=1}^N\text{exp}(s_m^j)}{t}_i^{j^{\prime }}=\frac{\text{exp}(t_i^j)}{{\sum }_{m=1}^N\text{exp}(t_m^j)}$$
• 最小化 KL 散度让 teacher 和 student 网络 positive anchor 分数的分布保持一致:
  $$L_{RM}=-\frac{1}{M}\sum _{j=1}^M\sum _{i=1}^N{t}_i^{j^{\prime }}log(\frac{s_i^{j^{\prime }}}{t_i^{j^{\prime }}})$$
  ​其中，M表示当前图像中的待检测目标格式。
  

1. Teacher 模型与 student 模型对于所有 positive anchor 的预测类别分数具有同样的分布。
2. 将所有 positive anchor 作为一个整体，利用KL散度去蒸馏其分布情况。

Prediction-guided Feature Imitation

现象：预测差异大的位置特征差异可能会很小，而预测差异小的位置特征差异可能会很大。

• 如果直接进行无差别的特征蒸馏，则特征差异较大、预测差异较小的区域会在反向传播中占据主导地位。这会导致特征蒸馏效果变差。
• 采用 teacher 和 student 网络预测类别分数差的 ${\ell }_2$ 距离，来表示其预测的差异性。其中 $C$ 代表类别数，得到的 $P$ 是一个 $H\times W$ 的 mask (PFI mask)。某个点的值越大，则代表 S 和 T 的预测差异性越大。
  $$\begin{gathered} P_{dif}=\frac{1}{C}\sum _{c=1}^C\Vert P_{stu}^c-P_{tea}^c{\Vert }_2^2 \\ {F}_{dif}=\frac{1}{Q}\sum _{q=1}^Q\Vert F_{stu}^q-F_{tea}^q{\Vert }_2^2 \\ {L}_{PFI}=\frac{1}{L}\sum _{l=1}^L\frac{1}{H_l\ast W_l}\Vert P_{dif}\odot F_{dif}{\Vert }_2^2 \\ {L}_{total}=L_{task}+\alpha L_{RM}+\beta L_{PFI} \end{gathered}$$

Experiment