FPG-超越FPN、NAS-FPN的表现 | Feature Pyramid Grids

FPN改进版实在太多了，无非就是增加各种连接方式。本文的FPG名字听起来很新颖，但是与其他的改进版本没啥啥本质区别
论文地址：https://arxiv.org/pdf/2004.03580.pdf

Abstract：

特征金字塔网络已在目标检测文献中广泛采用，以改进特征表示以更好地处理比例变化。 在本文中，我们提出了特征金字塔网格（FPG），这是一个深层的多路径特征金字塔，它将特征尺度空间表示为平行的自下而上路径的规则网格，并由多方向的横向连接融合。 FPG可以通过以相似的计算成本显着提高其性能来改善单路径特征金字塔网络，从而突出了深金字塔表示的重要性。 除了其一般和统一的结构外，在神经体系结构搜索中已经发现的复杂结构之外，它也无需依赖搜索即可与此类方法进行比较。 我们希望，FPG具有统一和有效的性质，可以作为对象识别未来工作的重要组成部分。

Introduction：

当前的特征金字塔主要包含：

1.FPN结构，特征金字塔+bottom-up融合思路，但是还有改进的空间，相关的改进版本也很多，例如AugFPN、MFPN。

2.Nas-FPN结构，使用网络搜索技术，效果超过了FPN。但是这种方法具有以下缺点：
（i）最终的网络结构通常很复杂，因此难以理解，限制了社区对模型的采用

（ii）NAS的搜索成本很高，涉及多达数千TPU小时，以找到最佳架构

（iii）发现的架构可能无法很好地推广到其他检测框架。 举个例子，NAS-FPN在RetinaNet上获得了良好的性能（已被搜索到），但是尚不清楚它是否在其他检测架构上也具有类似的性能

因此本文出于寻找一个通用改进的特征金字塔结构的想法，提出了特征金字塔网格（FPG），这是一个深层的多路径特征金字塔网络，将特征尺度空间表示为平行路径的规则网格，这些路径之间由多方向的横向连接融合在一起。在保持相同复杂度的前提下，FPG性能超过了FPN、NAS-FPN。

Feature Pyramid Grids：

如上图所示，区别于FPN结构仅有的bottom-up的连接结构，FPG应用了多种连接方式：

1.这些横向连接可跨路径连接相同尺度特征。 我们在每个特征图上使用1x1横向卷积来投影特征并将其与相邻路径中的相应特征融合

2.为了缩短从浅层路径中的低层特征到深层路径中的高层特征的路径，我们引入直接连接以构建跨层的自下而上的路径。 低层特征图通过3 x 3 stride-2卷积降采样为一半大小，然后与高级特征图融合

3.类似于每个途径中的自下而上的信息流，我们旨在通过整合AcrossDown连接来实现自上而下的信息流。 首先，我们使用最接近邻插值方式以2的比例因子对高层特征图进行上采样，然后使用3x3卷积使AcrossDown易于学习。 上采样特征图与低层特征图相融合

4.为了简化此类宽特征金字塔网格的训练，我们在第一个路径的相同级别和每个后续路径之间添加了跳过连接，使用1 x 1卷积。

Experiments：

1.Object detection：


2.Eciency vs. accuracy trade-off：


3.Ablation Study：