《Double-Head RCNN: Rethinking Classification and Localization for Object Detection》论文详解

原文链接《Double-Head RCNN: Rethinking Classification and Localization for Object Detection》

这篇文章灵感来源于18年COCO 物体检测冠军也就是旷视的团队，他们发现在做实例分割任务时使用卷积来得到BoundingBox比使用全连接得到结果要好。文章认为全连接对于空间位置是敏感的，而卷积对于物体信息的提取效果更好，所以在物体检测任务中只使用全连接或者只使用卷积得到的效果还不够好。本文就是研究使用卷积和全连接一起使用来做物体检测提高效果的研究。

一、网络结构

网络的backbone可以使用常用的网络，比如VGG、resnet，再加上FPN的结构，根据一个ROIPooling输出$7\times 7\times 256$大小的feature map，一般的做法是将这个featuremap接上一个全连接分支，在全连接后面接上一个分支输出预测的BoundingBox位置信息，一个分支输出对应位置的类别信息。如下图所示

或者是在得到$7\times 7\times 256$大小的feature map后，接上几个卷积操作，再接上一个全连接，再在后面接上一个分支输出预测的BoundingBox位置信息，一个分支输出对应位置的类别信息。如下图所示

本文的做法是将两个全连接分支中回归位置的分支改为卷积来输出，类别估计还是使用全连接来输出，如下图所示，所以称为doublehead结构。

对于doublehead，这里要多说一句的是，卷积不是简单的使用卷积核来操作，而是采用resnet里面的block结构来做的，具体结构如下几种组成。

上图中
（a）是将输出的256通道增加到1024通道
（b）就是正常resnet block操作了
（c）称为non-local block，这个结构由文章Non-local Neural Networks提出，目的是想通过non-local结构引入更多的非局部信息

二、损失函数

这里的损失函数与平时的一个head的计算是类似的，只是多一个分支而已，损失函数如下所示，是doublehead的损失函数加上rpn的损失函数：
$L={\omega }^{fc}{L}^{fc}+{\omega }^{conv}{L}^{conv}+L^{rpn}$
上式中，${\omega }^{fc}$和${\omega }^{conv}$分别是doublehead中全连接和卷积的loss权重，$L^{fc}$、$L^{conv}$和$L^{rpn}$分别是doublehead中fc-head,conv-head,rpn的loss函数。具体采用哪种损失函数，这里同FPN，回归采用smooth-l1，分类采用cross entropy loss。

到这里基本就是doublehead的主要原理了，下面还有一些扩展思考

三、扩展的doublehead

3.1 扩展的doublehead结构

文章发现上面的原始doublehead中的每个分支都是关注自己的任务，比如卷积只关注回归操作，全连接关注分类操作，而不同的head不只关注自己的任务对检测器的性能还会有所提升。不只关注自己任务（Unfocused Task Supervision）的意思是，fc-head也会接受回归任务的监督信息，conv-head则会接受分类任务的监督信息。如下图所示。

3.2 扩展doublehead中的损失函数

在训练过程中，fc-head不仅要受到本身擅长的分类信息监督还要受到回归信息的监督，同理conv-head也要受到两个信息的监督，先拿fc-head来说，损失函数如下所示：
$L^{fc}={\lambda }^{fc}{L}_{cls}^{fc}+(1-{\lambda }^{fc})L_{reg}^{fc}$
上式中$L_{cls}^{fc}$、$L_{reg}^{fc}$就是fc-head做分类和回归任务的损失函数，${\lambda }^{fc}$则是用来平衡两类任务的超参数。

下面再说conv-head，它的损失函数计算同fc-head:
$L^{conv}=(1-{\lambda }^{conv})L_{cls}^{conv}+{\lambda }^{conv}{L}_{reg}^{conv}$
上式中$L_{cls}^{conv}$、$L_{reg}^{conv}$就是conv-head做分类和回归任务的损失函数，${\lambda }^{conv}$则是用来平衡两类任务的超参数，这里更上面有点不同的是${\lambda }^{conv}$乘的是回归参数。

可以看出当${\lambda }^{fc}=1$、${\lambda }^{conv}=1$时得到的就是原始的doublehead的损失函数，文章采用的是${\lambda }^{fc}=0.7$、${\lambda }^{conv}=0.8$

3.3 扩展doublehead中的推断

看上面的结构图可以看出，分类结果是两个head融合的结果，而回归还是只采用卷积得到的结果。对于分类的融合方式如下式所示：
$s=s^{fc}+s^{conv}(1-s^{fc})=s^{conv}+s^{fc}(1-s^{conv})$
上式中$s^{fc}$和$s^{conv}$分别是fc-head和conv-head的分类结果。

原理基本就这些，想知道实验结果和doublehead中采用几层resnet block和non-local block连接，可以查看原文的实验部分。