[目标检测知识蒸馏4] [CVPR22] Focal and Global Knowledge Distillation for Detectors

[CVPR22] Focal and Global Knowledge Distillation for Detectors

Motivation

• 在目标检测中，前景、背景的不平衡是目标检测中的一个关键问题；

• 教师和学生网络的特征在不同区域有很大差异，尤其是在前景和背景中。如果进行平均蒸馏，特征图之间的不均匀差异会产生负面影响。
  

• 局部和全局蒸馏（FGD）：

  • 局部蒸馏：分离了前景和背景，迫使学生网络将注意力集中在教师网络的关键像素和通道上；
  • 全局蒸馏：重建不同像素之间的关系，并将其从教师网络传递给学生网络，以补偿局部蒸馏中丢失的全局信息。
    

Method

包含局部蒸馏和全局蒸馏。

Focal Distillation

对于前景和背景的不平衡，提出局部蒸馏来分类图像，引导学生网络聚焦于关键像素和通道。

• Binary Mask： 将图片的前景和背景信息进行分离：如 $(i,j)$ 落在 gt 中，则 $M(i,j)=1$；否则为0.
  $$M_{i,j}=\{\begin{array}{ll}1,& \text{if}(i,j)\in r\\ 0,& \text{otherwise}\end{array}$$

• Scale Mask： 为处理蒸馏过程中的目标尺寸问题：大目标占有的像素多，在 loss 中的占比高。一定程度上会影响小目标的蒸馏效果。

  • 前景像素在计算对应 loss 时要除以 gt 的面积；同理非 gt 像素。
    $$\begin{gathered} S_{i,j}=\{\begin{array}{ll}\frac{1}{H_r{W}_r},& \text{if}(i,j)\in r\\ \frac{1}{N_{bg}},& \text{otherwise}\end{array} \\ {N}_{bg}=\sum _{i=1}^H\sum _{j=1}^W(1-M_{i,j}) \end{gathered}$$

• **Attention Mask：**让蒸馏过程更关注 feature map上的关键区域。使用特征值绝对值平均值的 softmax 作为 feature map 的空间/通道（spatial/channel）的权重。
  $$\begin{gathered} G^S(F)=\frac{1}{C}\sum _{c=1}^C|F_c| \\ {G}^C(F)=\frac{1}{HW}\sum _{i=1}^H\sum _{j=1}^W|F_{i,j}| \end{gathered}$$

Global Distrillation

• 利用局部蒸馏 (FD) 来分离图像，使得学生网络将注意力集中在关键部位。然而 FD 切断了前景和背景之间的关系。

• 全局提取（GD）通过增加 attention loss ，使得学生网络和教师网络生成的 attention map 尽量接近。其目的是从特征图中提取不同像素之间的全局关系，并将其从教师蒸馏到学生：
  $$L_{at}=\gamma (l(A_t^S,A_S^S)+l(A_t^C,A_S^C))$$

Experiment