FPN(Feature Pyramid Networks for Object Detection)--2017 CVPR解读

最近在研究$AnchorFree$目标检测，涉及到很多细碎的知识，一一了解！道阻且长~~~~~

---

FPN(Feature Pyramid Networks for Object Detection)–2017 CVPR

---

---

1、引言

识别不同尺寸目标一直是目标检测的难点，尤其是小目标！而特征金字塔一直是解决多尺度目标检测的一个重要的点！现在深度学习目标检测的图像/特征金字塔解决思路有下面几种：

a)图像金字塔。图像下采样等方式形成不同的$scale$，不同的$scale$提取不同尺寸的特征。明显可以看出时间复杂度高！

b)仅采用网络最后一层的特征！如Faster_RCNN,YOLO1（是在最后一层全连接层上操作的）。

c)图像提取特征形成不同尺度的特征图，越往后，特征图越小，语义信息越丰富。那么在网络不同层抽取不同的尺度的特征做检测，这种方式不会增加额外的消耗量。如$SSD$，但是$300\ast 300$的$SSD$做检测和回归的第一层特征图为$38\ast 38$。这对小目标检测很不利。

d)FPN:特征金字塔网络。顶层的特征通过上采样与低层特征进行融合，每一层都用来做检测与回归。

---

2、结构

$FPN$结构主要有三个关键部分：自底向上、自顶向下、横向连接！

自底而上：就是网络训练的前向传播过程，特征图尺寸越来越小，缩放$stride=2$。有些层的尺寸不变，我们把这些尺度不变的层定义为一个$stage$。我们选择每个阶段的最后一层输出作为分类和回归参考特征图。 因为每个阶段的最后一层提取的特征应该是最好的。

自顶向下：把高层特征图进行上采样(比如最近邻上采样)，然后把该特征横向连接（lateral connections ）至前一层特征，因此高层特征得到加强。这样做主要是为了利用底层的定位细节信息。

横向连接：前一层的特征图经过$1\ast 1$的卷积核卷积，作用：改变channels，因为要和后一层上采样的$channels$相同）。连接方式：像素间的加法。重复迭代该过程，直至生成最精细的特征图。得到精细的特征图之后，用$3\ast 3$的卷积核再去卷积已经融合的特征图，目的：消除上采样的混叠效应（混叠效应下面介绍），以生成最后需要的特征图。为了后面的应用能够在所有层级共享分类层，所以固定了$3\ast 3$卷积后的输出通道为$d$,论文中取$d=256$。

混叠效应：在统计、信号处理和相关领域中，混叠是指取样信号被还原成连续信号时产生彼此交叠而失真的现象。当混叠发生时，原始信号无法从取样信号还原。而混叠可能发生在时域上，称做时间混叠，或是发生在频域上，被称作空间混叠。在视觉影像的模拟数字转换或音乐信号领域，混叠都是相当重要的议题。因为在做模拟-数字转换时若取样频率选取不当将造成高频信号和低频信号混叠在一起，因此无法完美地重建出原始的信号。为了避免此情形发生，取样前必须先做滤波的操作。

在视频信号处理过程中，有两种方法可以消除混叠现象：

1. 直接提高采样频率，但是采样频率不能无限提高；
2. 在采样频率固定的情况下，可通过低通滤波器消除大于尼奎斯特频率的高频信号，从而消除混叠现象；

所以这边使用一个$3\ast 3$卷积核来卷积特征图来产生最后的参考特征图。

---

3、关键思想

$CNN$网络由浅到深，分辨率越来越粗糙，特征图越来越小，因为池化产生的不同尺寸的特征图。但是越高层，语义信息越丰富。相似的思想利用在FCN的自顶向下连接(这边可以跳层连接哦)。也就是要识别多尺度的目标，利用不同尺度的特征图。

总结来说，FPN = top-down的融合（skip layer） + 在金字塔各层进行prediction。

实验就不说啦，想深入了解的可以调试代码和阅读论文！

---

4、参考链接

1. https://blog.csdn.net/qq_17550379/article/details/80375874
2. http://www.cnblogs.com/alanma/p/6884121.html