目标检测学习总结之Faster RCNN

  Faster R-CNN是在前人（Fast RCNN）的基础上接着改进生成region proposal的方法。改进的思路主要有RPN和anchor的提出。

1. RPN， Region Proposal Network。RPN包括一个基本卷积模块（用于提取特征）和一个特有的卷积模块（用于特定的任务），最后输出的是框的置信度和位置信息。
2. anchor box（锚框），在RPN中是对输入特征图进行滑窗处理，其实就是将特征图划分成多个grid，每个grid预测9种不同的值，代表着9个不同anchor box的相关信息。9个不同size的anchor box体现出模型的多尺度特征（多尺度的体现有3种，1种是输入图片的尺寸不同，1种是filter的尺寸不同，还有一种就是参考不同，这里anchor box的不同其实就是参考的不同。前2种多尺度设计都会导致模型不能共享前面的特征提取层，而第3种设计则能共享模型前面部分，从而减少模型的大小和计算量等）。

提出anchor box机制后，模型的输出就与anchor box相关，那么就需要利用ground truth对每个anchor box作相应的label，每个anchor box对应着一个置信度和4个box相对信息（大小和位置）。这里是用IOU值为标准来判断每个anchor box的置信度（有无object）：如果1）一个anchor box与某个ground truth的IOU值是所有anchor box与该ground truth的IOU值、2）一个anchor box与某个ground truth的IOU值大于0.7，则认为该anchor box的置信度是1（正样本）；如果一个anchor box与所有的ground truth的IOU值均小于0.3，则该anchor box的置信度是0（负样本）；IOU值在0.3和0.7之间的这部分anchor box不参与最终loss的计算。这跟YOLO有很大的不同，YOLO是一个ground truth只对应一个anchor box，判定标准是对应IOU值最大，而且所有anchor box都参与loss的计算。Faster RCNN在计算RPN的loss时会对正负anchor box进行采样，尽可能保证参与loss计算的正样本和负样本一样多（YOLO中由于对anchor box处理的不同，所以正负样本肯定是不均衡的，所以在loss中对正负样本设置了不同的权重）。RPN的loss函数如下：第一部分就是置信度损失，采用logloss形式。第二部分是box信息，采用smooth L1 loss形式。可见RPN网络的任务就是判断每个anchor box是否含有object（粗分类，object有无）和box变化信息（大小和中心点的变化）。这里详细讲一下loss第二部分，、都是一维向量（box的中心点坐标x、y和宽高w、h），分别表示的是预测box与anchor box的相对差别和ground truth与anchor box的相对差别。Faster RCNN的训练方式主要有3种，包括alternating training（交替训练）、approximate joint training（近似联合训练）和non-approximate joint training（非近似联合训练）。论文中详细讲述了4-step alternating training：

1. 训练RPN的基本卷积模块1和特有卷积模块1；
2. 训练Fast RCNN的基本卷积模块2和特有卷积模块2（其实也就是Faster RCNN的细分类模块），此时是用RPN的输出作为特有卷积模块2的region proposals；
3. 将RPN和Fast RCNN合在一起，基本卷积模块采用Fast RCNN的基本卷积模块2的参数（RPN和Fast RCNN的基本卷积模块其实是一样的，只是分别训练了一套参数），固定基本卷积模块的参数，再次训练RPN的特有卷积模块1；
4. 固定基本卷积模块和特有卷积模块1的参数，训练Fast RCNN的特有卷积模块2；
5. 重复上述4步，直到模型达到一个比较好的效果。

在这个训练过程中，我们需要去掉和边缘相交的anchor box，也就是这部分anchor box不对loss做出贡献。而在测试阶段，则将模型预测出的超出边缘的box限制在图片中。4-step alternating training是Faster RCNN的主要训练方式，但是作者也提出了近似联合训练和非近似联合训练。
近似联合训练(approximate joint training)：直接将RPN和Fast RCNN融合成一个网络。此时region proposals是由中间的RPN层输出的。"approximate"体现在反向传播阶段RPN产生的置信误差能够获得梯度以更新参数，但是region proposals的坐标预测则直接把梯度舍弃了，也就是说box误差不参与loss的计算（这种方法的好处在于缩短训练时间）。
非近似联合训练(non-approximate joint training)：既然是“非近似”，那就是训练时不舍弃region proposals的坐标预测误差梯度。
看其他资料的补充：
  查看endernewton的Faster RCNN实现源码，可以分为Conv layers、RPN、ROI Pooling和classification，其代码框架如下：

Faster RCNN代码结构.png

PRN实现细节：主要体现在_proposal_layer、_anchor_target_layer和_proposal_target_layer代码中。_anchor_target_layer计算所有anchor box与ground truth的IOU值，消除图像外部的anchor box，将IOU值大于0.7设为正样本，将IOU值小于0.3设为负样本，其实就是计算获得属于RPN网络的label。_proposal_layer将RPN的输出按照置信度得分排序，取前若干个anchor box，再利用NMS继续减少anchor box数量。_proposal_target_layer计算最后分类网络对应的label，以及对NMS后的anchor box进行挑选（挑25个，尽量保证正负样本比例为1:1）。
ROI Pooling实现细节：之所以要进行ROI Pooling是因为每个ROI的size是不同的，但是分类网络对输入的维度是定长的，所以需要利用ROI Pooling使得不同size的region变成一样的维度。具体降维方式如下图：

ROI Pooling.jpg

但是在实际中预测的region并不是刚好对应若干个grid，ROI Pooling的做法是将其近似到附近的grid上，这样就会对后面分类网络的性能带来一定的影响。所以在Mask RCNN中提出了ROIAlign，并不是近似到附近的grid上，而是利用周围的grid和双线性插值算法更加准确的估计出ROI中每个位置的值，具体可看 论文中关于ROIAlign的讲解，如下图：

ROIAlign.png