[Paper Share - 3]Light-Head R-CNN: In Defense of Two-Stage Object Detector

导读
本文是旷视科技和清华大学的联合作品。论文针对two-stage的目标检测框架中，回归坐标和分类的子网络进行优化，主要结合Faster RCNN和RFCN两个网络有点，同时提出自己的改进，最终在Accuracy和Speed上都取得了state-of-the-art的表现。

1.Introduction

一般来说Two-Stage的检测框架，第一步是产生足够多的候选框，作者称之为Body；第二步是对候选框进行识别，作者称为Head，像大脑做出判断。通常，想要取得最好的准确率，Head的设计一般比较Heavy，就是计算量参数较多，计算量比较大。作者发现，像Faster RCNN和R-FCN都有共同点，就是一个非常Heavy的Head接到主体框架上。Faster RCNN就接了两个全连接层在ResNet 的第5个Stage后面。并且，ROI Pooling后的特征非常大，所以第一个全连接层非常耗内存，并且影响速度。并且，每个Region Proposal都要经过两个全连接层，计算量非常大。而在R-FCN中，虽然少了两个全连接层，但是，需要构建一个Classes×p×p大小的Score Map，也是需要非常大的内存和计算量。所以本文结合两者优点，提出一些改进，主要如下两点：

• 使用Large-Kernel Seperable Convolution来产生一个“Thin”的Score Map，Score Map只有a×p×p通道。在论文中，作者用了a=10。
• 在ROI Pooling后接上一个全连接层。为什么要接上这个全连接层呢？因为原来的R-FCN的Score Map是Classes×p×p通道，正好对应Classes的预测，现在没有这么多个通道了，没办法用原来的投票方法了，所以接上一个全连接层也是为了后面能够接上Faster RCNN的回归和分类。

2.Related works

这个没啥好说的，就是大体说了下目标检测的近况。挺全面的。

3.Our Approach

桥黑板！划重点！
事实上，论文的一张彩图已经说明了一切。好像已经不用费口舌去解释。

网络对比2

不过，作者还是做了些解释。
从Accuracy角度来看，Faster R-CNN为了减少第一层全连接层的计算量，引入global average pooling，虽然对ROI的分类有好处，但是损失了空间信息，对目标回归不好。而R-FCN直接对position-sensetive pooling后的结果进行Pooling，没有ROI-Wise层，所以效果没有Faster RCNN好。
从速度来看，Faster RCNN的每个Roi都要经过R-CNN子网络（R-CNN subnet），见图，所以计算量非常大。R-FCN虽然R-CNN subnet很小，但是他要生成一个非常大的Score Map，整个网络依然很消耗时间和内存。

3.2Light-Head R-CNN

文章使用“L”表示用一个大的主体网络，用“S”表示用一个小的主体网络。
Basic feature extractor
对于“L”网络，文章使用ResNet101作为基础的特征提取网络，对于“S”，文章使用类似于Xception的小网络。上面图中的“conv layes”表示基础网络。“S” 网络如下表格。

S网络

Thin feature maps
作者使用large separable convolution，接在基础网络的C5上。如下所示，k=15,对于S网络，Cmid=64，对于L网络，Cmid=256。Cout=10×p×p。

large separable convolution

R-CCN subnet
这里作者接了一个2048通道的全连接层，没有使用dropout。
RPN
RPN使用C4层的特征。ratios 取{1:2， 2:1}并且有五个scales {32 , 64 , 128 , 256 , 512 }。NMS阈值取0.7.

4.Experiments

作者在COCO数据集上做实验，训练集115K，测试集5K。当然还有些细节，OHEM，data augment之类不扯了。

4.2.1Baselines

B1：是R-FCN，直接用R-FCN跑出来的结果。
B2：也是R-FCN，不过做了些改进，
1.图片resize成最短边800，最长边1200,5个anchors {32 , 64 , 128 , 256 , 512 }
2.对位置回归的loss比分类的小，所以训练时，对回归的loss进行了double
3.训练时将box的loss排序，将loss表较大的前256个box作为反向传播的loss。并且训练时每张图像用了2000个ROIs，测试时用1000个Rois。这样mmAP提高了3个点。事实上我不太确定这个mmAP是啥意思。文章说，“We use mmAP to indicate results of mAP@[0.5:0.95]”难道是说对PR曲线积分时，积分范围是0.5-0.95？有懂得请在下方评论，让咱们学习学习。

Baseline

4.2.2Thin Feature maps for RoI warping

这里作者想对比，Thin Feature会带来什么影响。作者设计了对比试验。网络如下图。

• 输出的Feature maps的通道数减少为490(1077）
• 由于修改了输出Feature map的通道数，所以R-FCN不能通过投票的方式进行预测，所以作者加了一个全连接层。（这里，其实我是有点不明白的。看这里的描述，下图如果和上面的网络对比图2是一样的话，那么后面4.2.3的对比试验R-CNN subnet是什么？4.2.3节改进了什么。）
  
  

  reduce Feature map
  
  可以看到，这样修改后，效果略微下降了。作者指出如果将PSROI Pooling改为ROI Pooling会获得0.3的增益。但是计算量增加了49倍。
  large separable convolution
  上一步中使用的是普通的1*1的卷积，这里作者改用large separable convolution，k = 15, Cmid = 256, Cout = 490。这样子，相比B2提升了0.7个点。
  
  

  large separable

4.2.3 RCNN subnet

文中提到的Figure3呢？并没有看到，这里应该有错误。文章这里再次提到加入一个额外的全连接层。（我就奇怪了，上面一节在说thin featrue的时候不是加了吗？）
然后这里效果突然就飞起来了。我表示很困惑。

R-CNN subnet

4.3 Light-Head R-CNN: High Accuracy

这一节作者提到一些技巧。比如PSROI Pooling换成 RoIAlign ，多尺度训练，NMS的阈值改为0.5之类。

技巧

当然，因为Thin Feature，就有可能使用FPN了。下面对比了和其他one stage和two stage的方法。都是state-of-the-art。

image.png

4.4 Light-Head R-CNN: High Accuracy

然后是对比速度。

• 使用上面提到的S网络。
• 将RPN网络的卷积改成原来的Faster RCNN的一般，256.
• 使用large separable convolution其中kernel size = 15, C mid = 64, C out = 490 (10 × 7 × 7)

• 使用PSPooling with alignment
  然后结果如下，完虐一切one stage和two stage的方法。YOLO，SSD不在话下。好厉害的样子。

  
  
  

  速度对比

整体上感觉还不错，虽然有些不太明白的地方。论文的写作不是很好，有些地方的表达可能有错。

---

好了，今天的Paper Share分享到这里。下次会分享上面的提到的R-FCN，1605.06409-R-FCN: Object Detection via Region-based Fully Convolutional Networks。敬请期待哦。

------少侠阿朱 2017.11.30 于深圳。

转载注明下出处呗。http://www.jianshu.com/p/3c448a02f6a8