FPN网络详解——feature pyramid network

FPN: feature pyramid networks

FPN网络有效的解决了物体检测中多尺度问题；底层特征图中的信息较少，但是目标位置准确，高层特征图信息丰富，但是位置比较粗略，FPN不同的地方在于在不同的特征层独立进行预测

 

目前提取特征的网络结构:

1.简单CNN，最后一层预测

如：SSPNet(使网络可以输入任意大小的图形),  Fast-RCNN,Faster-RCNN,因此这几种网络检测不同尺度的目标的适应性就不太好

2.incode-decode形式的网络(top-down pyramid)

先卷积采样减小尺寸，再上采样增大特征图，效果很差，不建议使用

3.多尺度特征融合

在不同尺度的特征图上预测，为了解决不同尺度目标提出的检测方式，主要有SSD(提取了6层特征图)

 

4.多尺度融合，单预测（only finest level）

5.FPN

融合高层与底层的特征图多尺度预测，可以适应不同尺度的目标，效果非常好

主干网络（backbone）使用了ResNet

下图中的横向连接先使用1*1的卷积压缩通道，使用2*2的上采样伸缩特征图，然后对应元素相加，注意：不是拼接通道，元素相加之后进行了3*3的卷积操作，这个卷积操作的目的是消除上采样的混叠效应。

anchors设置

FPN网络放入RPN（region proposal network）网络中用于生成proposals，之前生成proposal都是在某一个特征图中生成。现在在FPN中的每一层都可以生成不同尺度的proposals,论文中对于P2，P3，P4，P5，P6这些层，定义anchor的大小为32^2, 64^2,128^2, 256^2，512^2，另外每个scale层都有3个长宽对比度：1:2，1:1，2:1。所以整个特征金字塔有15种anchor。

 

正负样本处理

如果某个anchor和一个给定的ground truth有最高的IOU或者和任意一个Ground truth的IOU都大于0.7，则是正样本。如果一个anchor和任意一个ground truth的IOU都小于0.3，则为负样本。

 

结果

将FPN用于Faster-RCNN的结果

这种融合高层和底层的特征方式效果很好，但是只是效果好，解释不了背后的原因。这样做应该是更多的表示了不同的特征，在更多的特征信息中检测，而提高了检测率。高层和底层的特征相加不一定能体现出这两层各自的特征，直观上认为这样做反而削弱了各个层的特征特点。因此可以尝试使用通道融合的方式来实现FPN。（个人想法)