DynamicHead：基于像素级路由机制的动态FPN | NIPS 2020

论文提出了细粒度动态detection head，能够基于路由机制动态地融合不同FPN层的像素级局部特征进行更好的特征表达。从设计的路由空间来看是一个十分耗时的操作，但是作者设计的高效路由器实际计算十分高效。实验结果来看，细粒度动态detection head可以即插即提点
来源：晓飞的算法工程笔记 公众号

论文: Fine-Grained Dynamic Head for Object Detection

• 论文地址：https://arxiv.org/abs/2012.03519
• 论文代码：https://github.com/StevenGrove/DynamicHead

Introduction

---

  在目标检测算法的研究中，特征金字塔FPN是十分重要的结构，能够很好地表达目标的多尺度特征。近期也有很多FPN结构的改进研究，比如手工设计的PANet、FPG以及自动搜索的NAS-FPN、Auto-FPN。但上述的改进研究有两点问题：

• 在训练时将训练目标粗略地分配给某个FPN层，并且认为目标区域是不可分割，层间融合也是整层进行。这种策略可能会忽略了目标分散在FPN不同层的细粒度局部特征，这些局部特征能够很好地提高目标的语义信息。
• detection head的预测结果基于单层FPN特征，分辨率固定， 可能会忽略了重要的小区域特征。

  为了解决上述的问题，论文提出了细粒度动态detection head，能够基于路由机制动态地融合不同FPN层的像素级局部特征进行更好的特征表达。该方法参考了粗粒度的动态网络方法，集中在像素级别进行路由选择。

Fine-Grained Dynamic Routing Space

---

  FPN-based目标检测网络通过主干网络获取不同分辨率特征，然后通过top-bottom pathway以及横向连接进行多尺度特征融合，最后使用简单的共享detection head对不同分辨率的特征进行结果预测。

  细粒度动态detection head的核心在于细粒度动态路由空间(fine-grained dynamic
routing space)的设计，如上图所示。对于第$n$层特征，动态路由空间的深度为$D$，与FPN的3层特征相关，分别为$n$层、$n-1$层以及$n+1$层。动态路由空间的基础为细粒度动态路由器(fine-grained dynamic router)，根据状态选择各像素的后续路径，每个像素有3个不同的路径可供选择。

Fine-Grained Dynamic Routing Process

---

  给定路由空间以及几个独立的节点，使用论文提出的细粒度动态路由器(fine-grained dynamic routers)完成多尺度特征的融合，主要进行element-wise的相加以及像素级路由路径的选择。

Fine-Grained Dynamic Router

  给定路由空间节点$l$，该节点的特征标记为$x^l=\{x_i^l{\}}_{i=1}^N$，$N=H\times W$为像素位置，共有$C$维，路由节点的候选路径$F=\{f_k^l(\cdot )|k\in \{1,\cdots ,K\}\}$根据相邻FPN层的尺寸定义，$K$为候选路径数。每个路径都有一个空间控制门(spatial gate)，空间控制门的输出为门控因子(gating factor)：

  ${\theta }_k^l$为协助网络的参数，对应第$k$个控制门，参数是位置共享的。而$m_i^{k,l}\in [0,1]$是连续的，允许单个像素的多个后续路径被激活。在实现时，只取激活门控因子为正数的路径，所以单节点的多路径路由输出为：

Gate Activation Function

  门控激活函数的输出范围为$[0,1]$，当输出为0时禁止该路径。另外，门控激活函数必须是可微的，方便反向传播的学习。在考虑了其它研究的实现方案之后，论文提出了restricted tanh函数的变种：

  $\tau$为超参数，用于控制$0^{+}$的梯度值。公式3不仅可导，还解决了restricted tanh在零处梯度不连续的问题。

Routing Path

  路由器在每个位置均有3个可选的后续路径，上下采样路径采用图b的结构进行实现，包含线性采样操作，而非采样路径则使用图a的结构进行实现。对于空间控制门$g_k^l(\cdot )$则使用了图c的轻量级结构进行实现，先通过$3\times 3$卷积将输入转换为维度为1的特征，然后通过论文提出的门控激活函数$\delta (\cdot )$将输出约束到$[0,1]$，将$m^{k,j}$进行最大池化后进行量化，非零的均量化为一，输出掩膜${\mathcal{M}}^{k,j}$，最后基于掩膜进行空间稀疏卷积($3\times 3$)。
  由于激活的路径数会被约束，池化和量化可以过滤掉大量未被激活的路径，减少很多计算量。其实这里最省的是只计算$m^{k,j}$非零的位置，但考虑非采样路径a需要进行两次稀疏卷积，还是池化一下靠谱点。另外，上下采样路径b里的卷积都采样深度卷积，进一步减少计算量。

Resource Budget

  过多的路由路径会造成过大的计算量，所以需要增加一个惩罚项来引导路由器禁用尽可能多的路径。定义${\mathcal{C}}^{k,l}$为路径相关的计算复杂度，则单节点的计算消耗为：

  ${\Omega }_i^{k,l}$为位置$i$的感受域，这里采用最大池化来直接获取需要进行计算的位置，跟上面的图c类似。公式4能够很好的引导减少门控特征图$m^{k,l}$的值，将细粒度动态路由添加到网络时，需增加资源消耗的损失项：

  最终完整的网络损失函数为：

Experiment

---

  在FCOS上的对比实验。

  不同网络上的适配。

Conclusion

---

  论文提出了细粒度动态detection head，能够基于路由机制动态地融合不同FPN层的像素级局部特征进行更好的特征表达。从设计的路由空间来看是一个十分耗时的操作，但是作者设计的高效路由器实际计算十分高效。实验结果来看，细粒度动态detection head可以即插即提点。

 

 
 
 

如果本文对你有帮助，麻烦点个赞或在看呗～
更多内容请关注 微信公众号【晓飞的算法工程笔记】