FPN网络

FPN

(a)对图片进行上采样，分别对不同尺度的图片进行预测，这是以前的方法
(b)仅用最后一层作为预测，比如Faster-RCNN
(c)多层Feature Map 预测整合产生最终结果，比如SSD
(d)Feature Map与上层经过上采样的特征图相加形成亲的Feature map用来预测

那么如何用(d)来代替(b)再结合Fast-RCNN呢

回忆一下Faster-RCNN是个怎么样的结构。它其实就是RPN网络+Fast-RCNN。
RPN网络是区域生成网络，它的输入是一张图片，输出就是Object的坐标。

比如RPN网络的最后一层是60x40x256,我们就用3x3卷积对每个Feature Map进行卷积。因为Feature map有256个，所以每一个anchor能生成256维的向量，其后只要再接FC和clc,reg层即可。

经过前面几步，我们就能初步从RPN网络当中提取一些Object(利用分类阈值)。我们只要把这些不同大小的Project投入Fast RCNN（其中的ROI是SPP-Net的特殊情况），就可以得到最终的结果。

与Faster-RCNN不同，RPN网络利用了多层了Feature map(借鉴了SSD的思想)，在此基础上，还引入了横向连接（将Feature-Map与上采样的上层FM相连）。当然每层Feature map的Anchor也得重新设置。