FPN网络

FPN
FPN网络_第1张图片
(a)对图片进行上采样,分别对不同尺度的图片进行预测,这是以前的方法
(b)仅用最后一层作为预测,比如Faster-RCNN
(c)多层Feature Map 预测整合产生最终结果,比如SSD
(d)Feature Map与上层经过上采样的特征图相加形成亲的Feature map用来预测

那么如何用(d)来代替(b)再结合Fast-RCNN呢

回忆一下Faster-RCNN是个怎么样的结构。它其实就是RPN网络+Fast-RCNN。
RPN网络是区域生成网络,它的输入是一张图片,输出就是Object的坐标。

比如RPN网络的最后一层是60x40x256,我们就用3x3卷积对每个Feature Map进行卷积。因为Feature map有256个,所以每一个anchor能生成256维的向量,其后只要再接FC和clc,reg层即可。

经过前面几步,我们就能初步从RPN网络当中提取一些Object(利用分类阈值)。我们只要把这些不同大小的Project投入Fast RCNN(其中的ROI是SPP-Net的特殊情况),就可以得到最终的结果。

与Faster-RCNN不同,RPN网络利用了多层了Feature map(借鉴了SSD的思想),在此基础上,还引入了横向连接(将Feature-Map与上采样的上层FM相连)。当然每层Feature map的Anchor也得重新设置。

你可能感兴趣的:(深度学习)