Faster R-CNN

目录

1. Fast R-CNN的不足

2. Faster R-CNN

3. RPN(Region Proposal Network)

3.1 anchor

3.2 RPN 网络

3.3 RPN 网络的损失

4. Faster R-CNN 损失

5. Faster R-CNN 训练

6. 对比

---

1. Fast R-CNN的不足

Fast R-CNN 的算法流程

Fast R-CNN网络运行速度慢的最主要原因，SS生成候选框的效率较低

所以Faster R-CNN主要对生成候选框进行了优化

2. Faster R-CNN

Faster R-CNN 的算法流程

 Faster R-CNN可以看成：RPN + Fast R-CNN

其中RPN通过卷积网络生成候选框，抛弃了SS算法，这里RPN和Fast R-CNN里面提取特征的卷积层参数共享

3. RPN(Region Proposal Network)

Faster R-CNN的重点就是RPN代替了SS算法，所以最重要的就是RPN网络的实现 。后面的部分就是Fast R-CNN

生成的2k分类类别，这里的2只是前景and背景的概率，不做具体的分类

生成的4k个边界框回归器，4个参数对候选框的调整

3.1 anchor

窗口在卷积网络输出的特征提取进行滑动，在每个滑动窗口生成9个anchor

anchor 和 PRN 都会产生候选框，两者不一样

虽然对于VGG来说，原始的输入图像经过几层的卷积和池化，最后输出特征图的像素点，映射到原图的感受野是228。虽然这里生成的anchor比228*228大，是不影响的。论文的作者是这样解释的，通过观察物体的一部分，也可以大概估计目标的大小。

关于感受野的计算

例如，原始输入的图片是1000*600*3，经过特征提取层，空间分辨率大概变成60*40，每个像素点生成9个，就会生成60*40*9(20k)个anchor。去除越过边界的anchor，大概剩余6k个。利用RPN网络生成的回归器对anchor进行微调，得到需要的候选框，基于RPN生成的分类器，对候选框得分进行非极大值抑制，这样最后大概还剩2000个候选框

边界框参考anchors产生固定尺寸的，分类判断产生的边界框是背景还是前景，即产生的边界框是否正确

3.2 RPN 网络

理论上，RPN网络不仅仅只包含下面的部分，还有CNN特征提取的部分，因为CNN那块参数共享了，所以只介绍剩余的生成分类器+回归器的小网络

VGG最后特征提取的输出为512*n*n(512为channel)，通过3*3的same 卷积，输入输出维度都是VGG最后的输出channel 512。这样3*3卷积后输出的shape和VGG特征提取的shape是一致的

然后并联两个1*1卷积或者fc层实现类别的分类+边界框回归器的预测

例如，采用 输入chanel为512，输出为2k个，1*1卷积核就能产生2k个类别的分类

3.3 RPN 网络的损失

RPN 的损失，λ为平衡参数，尽量让1/N(cls) = λ * 1/N(reg)

其中分类的损失，是多类别的交叉熵

边界框回归器损失：

4. Faster R-CNN 损失

就是Fast R-CNN的损失

5. Faster R-CNN 训练

论文中采用4步的分步训练方法

6. 对比

框架的步骤逐渐合为一体