FPN特征金字塔网络

    作者提出了特征金字塔网络（FPN）来解决多尺度目标检测的问题，在现有网络基础上进行层之间连接的修改，在基本不增加原有模型计算量的情况下提升了小物体检测的性能。

图1 各种解决方法对比

如图1所示，（a）表示利用图像金字塔，每种尺度的图都独立地计算特征来构成特征金字塔，速度是很慢的。（b）表示近期检测系统都在采用的为了更快地检测而使用的单尺度特征检测。（c）表示的方法是重用卷积计算得到的金字塔特征结构，就好像它是一个特征化的图像金字塔。（d）表示作者提出的FPN网络，它跟b，c一样快，但是会更加精确。

      本文作者关注于RPN网络及Fast R-CNN结构。首先输入是一个任意大小的图像，在不同层级上输出固定大小的特征图，这个过程独立于整个卷积框架的主干。FPN的主要过程分为两个部分，Bottom-up Pathway及Top-downPathway and Lateral Connections。

第一个部分为Bottom-up Pathway，也就是自下而上，如图2的左半部分，这是一个前向传播的卷积神经网络主干部分，它计算出一个特征层次结构，缩放步长为2。这之中可能会有相邻的几层输出相同尺度的特征图，于是我们将这几层放在一个stage上，我们将每一个stage中最后一层的输出（也就是最终输出）作为金字塔的一部分，因为此层应该提取出的特征最明显。特别的，作者采用了ResNets，抽出了conv2,conv3,conv4及conv5这几个输出作为金字塔的一部分，没有采用conv1因为它太大会占用较大内存。

      第二个部分Top-down Pathway为自上而下（图2的右半部分），主要是将特征图进行上采样（最邻近上采样）得到更大（更高分辨率）及语义更强的特征图。通过横向连接，特征可以更加明显。横向连接的操作方法如图2框内所示，将Bottom-up Pathway中相应的层（大小相同）抽出进行1x1的卷积来减少channel数量然后与Top-downPathway的这一层进行对应元素相加。此后迭代这个过程直到最后一层。对于其中的每一层，作者首先做了一次1x1的卷积来产生最粗略的特征图然后做了一次3x3的卷积用来减少上采样所造成的混叠效应，生成最后需要的特征图。

图2FPN网络结构思想图

      作者将FPN方法在RPN及Fast R-CNN框架中进行应用来证明FPN方法的作用，故将原始系统架构进行了小小的修改。

      FeaturePyramid Networks for RPN：

      原始RPN网络通过一个3x3的卷积及两个并行的1x1卷积得出分类结果以及边框回归的偏移量，同时采用了锚点的思想。作者对RPN进行了简要修改，其认为对于FPN来说，使用如此多不同尺度的锚点对金字塔每个层都进行滑动遍历是没有必要的，于是作者对金字塔的每个层都设立了锚点的一个单独的尺寸（面积）。{P2,P3,P4,P5,P6}这几层的锚点对应面积为{32,64,128,256,512}。每一层面积尺寸都有按长宽比为{1:2,1:1,2:1}的再分，故在整个金字塔结构中共有15(5x3)个不同尺度的锚点。对于3x3卷积及两个1x1卷积这一部分不变。

      训练时以AR作为评价标准。

      FeaturePyramid Networks for Fast R-CNN:

      在Fast R-CNN的部分，FPN主要的作用是决定选取特征金字塔的哪一层来进行接下来的ROI pooling以及其他操作。作者的思想是大尺度ROI就用靠后的金字塔层，小尺度ROI就用前面一点的金字塔层。假设不同feature map集合为{P2,P3,P4,P5}，我们选择的feature map为Pk，则k由下列公式得出：

      224为ImageNet与训练图像的大小，k0为基准值，在这里为5。

 

 

 

      数据集

       数据集采用的是COCO数据集

 

 

      实验结果

实验RPN：

（a）为传统单尺度RPN（此RPN所采用的锚点为作者说的5种尺度的锚点）摘出conv4的结果

（b）为传统单尺度RPN（与a相同）摘出conv5的结果

（c）为在RPN中采用FPN的结果

可以看到FPN的召回率得到了大幅度的提升，尤其在中型和小型物体上。

 

（d）只保留了横向连接，性能与原RPN差不多。

（e）砍掉了横向连接，只保留了自上而下上采样feature map做检测结果。效果不好

（f）只用最终得到的feature map，效果也不好

这几组实验说明了特征金字塔以及横向连接都有作用。

 

 

实验Fast R-CNN：

与RPN实验过程相同，发现FPN筛选ROI区域对小物体检测性能有很大的提升。

 

 

对比其他单尺度模型的结果：

同样相对来说提升了小物体检测的性能。