Faster R-CNN

Faster R-CNN流程图

• 相较于R-CNN与Fast R-CNN而言，其采用了RPN去代替之前的SS算法去生成候选区域。
• 当生成候选区域后进行的仍然和Fast R-CNN一样的操作（Rol pooling -> FC ->softmax & 边界框预测）。

RPN

在特征图上采用3x3卷积，padding=1,dilation=1

这里cls layer是进行的卷积，2k个大小1x1的卷积核进行处理，reg layer则是4k个大小为1x1的卷积核进行处理。

• 对于一张1000x600x3的图像,大约有60x40x9(20k)个anchor,忽略跨越边界的anchor以后,剩下约6k个anchor。对于RPN生成的候选框之间存在大量重叠,基于候选框的cls得分,采用非极大值抑制,IoU设为0.7,这样每张图片只剩2k个候选框。
• 训练数据的采样，即正样本和负样本的选择，方式一根据与GT box 的IoU的阈值来确定一般阈值为0.7、方式二是GT box与所以有重叠的生成的预选框中最大的IoU的预选框被认为是正样本。

RPN的损失函数

分类损失

• 对应分类损失，有两种说法一种是多类别交叉熵损失、另一个是二分类交叉熵损失 。

 

边界框回归

和Fast R-CNN的边界框损失一样的

 Faster R-CNN训练

Faster R-CNN框架

 

总结：

在Fast R-CNN基础上进一步合并，将原先的SS算法生成候选区域改为RPN网络生成，加快了候选区域的生成速度，其余和Fast R-CNN一样。