目标检测—RCNN系列

工程应用中，检测算法以one-stage算法yolo系列等为主，因为one-stage通常来说速度快，可以完成良好的实时检测。

本文回顾的是two-stage算法:RCNN系列

One-stage and two-stage:     

one-stage: 直接回归物体的类别概率和位置坐标值（无region proposal），但准确度低，速度相比two-stage快。 

two-stage: 先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类。

一.RCNN                                                                                                                                   

算法流程概述：

（1）search selective生成候选框

（2）对候选框用深度网络提取特征(候选框resize成224*224）

（3）特征送入每一类的SVM分类器进行分类 

（4）用回归器对候选框进行位置修正

这里的深度网络用的是Alexnet CNN，不同的是将最后的一层的1*1000全连接层（原先全连接是用来分类）去掉了，这样就得到了一个4096维的特征向量，若有K个候选框则得到K个4096维的特征向量。再经过特征提取后将K*4096维的特征向量输入到20个SVM分类器中（权值矩阵4096*20），从而得到K*20维的矩阵，表示K个候选框对应20个类别的得分。对K*20维矩阵在每一列（每一类）进行NMS得到该类中得分最高的框。

NMS非极大值抑制算法：

寻找每个类别中得分最大的目标，因为对于一类，score越高越能说明物体在里面。取score最高的一个框，计算其与其他框的iou,iou越大越可能是同一个物体，去掉iou大于给定阈值的目标框。

 在经过NMS处理后，对剩余的高质量建议框进行回归操作，其主要回归有四个参数，中心点距离实际位置的偏移量x和y，以及建议框宽高的缩放因子hw

二.Fast-RCNN

RCNN存在的问题：用Selective search算法提取候选框费时，并且对于每个proposalregion都要经过深度网络进行计算，并且计算前要经过resize。

算法流程概述：

（1）一张图生成K个候选框

（2）将图像输入CNN得到feature map,将SS算法生成的候选框投影到特征图上获得相应的特征矩阵（RCNN并未将整张图片输入进网络，而是将生成的每个候选框输入进网络，得到其特征向量）

（3）将每个特征矩阵经过ROI Pooling层缩放得到7*7大小的特征图，接着将特征图展平通过一系列全连接得到预测结果（RCNN训练了SVM和回归器进行分类和回归，Faster-RCNN直接将分类和回归融合进一个网络中）

 Fast-RCNN一次性计算整张图的特征，与RCNN相比，避免了K个候选框计算特征时的K次前向传播，提高了计算速度，使候选框的特征不需要重复计算

Mini-batch sampling：

在训练过程中，我们并不是将SS算法提供的所有候选框，而是通过采样解决正负样本可能带来的数据不平衡问题（假如我们要识别正样本猫，但SS得到候选框大多数都是负样本狗，这对网络预测会更偏向于狗），Fast-RCNN在所有ROI中采样64个ROI，根据其与真实值的IOU划分他们的正负。

在得到训练样本之后，我们将候选框通过ROI Pooling（不限制图像输入尺寸）缩放到同一尺寸

ROI Pooling:

下图是8*8feature map 上的一个proposal region:

假设我们想得到一个2*2的输出，对proposal region进行2*2划分：

 再对每个划分区域进行MAX Pooling:

在经过这一步后，经过两个全连接层进行展平得到ROI feature vector,再通过两个并联的结构，一个进行概率预测，一个进行回归修正。

softmax分类器输出的是N+1个类别的概率，N为检测目标种类，1为背景。bbox regressor输出的是N+1类别的4个候选框回归参数，共（N+1）*4个节点。

在计算损失时，SoftmaxLoss 代替了SVM，证明了softmax比SVM更好的效果；SmoothL1Loss 取代Bouding box 回归。将分类和边框回归进行合并（又一个开创性的思路），通过多任务Loss层进一步整合深度网络，统一了训练过程，从而提高了算法准确度。网络代价函数具体如下图所示：

三.Faster-RCNN

Fast-RCNN中用的候选框生成算法SS仍然很费时，Faster-RCNN对此提出了一个Region Proposals Network,Faster-RCNN可以看作是RPN+Fast-RCNN.

算法流程概述：将图像输入网络得到特征图，使用RPN生成候选框，将生成的候选框投影到特征图上获得相应的特征矩阵，将每个特征矩阵通过ROI Pooling缩放到7*7,接着将特征图经过展平通过一系列全连接得到预测结构。

RPN: 总体来说，RPN就是在feature map上，对每个对应原图区域的点，设计不同的固定尺度窗口（bbox），根据该窗口与ground truth的IOU给它正负标签，让它学习里面是否有object。

Anchor:对于特征图上的每个3*3的滑动窗口，计算出滑动窗口中心点，在原图位置上的中心点，并计算出k个anchor box

Faster-RCNN中的anchor具有三种尺度，三种比例，所以每个滑动窗口在原图上都对应有9个anchor ,下图为RPN网络。256对应的是特征提取网络得到的feature map的通道数。

 RPN的具体实现：滑动窗口采用的是3*3的卷积，padding为1，步长为1，这样滑动窗口便可以遍历特征图上所有的点，经过卷积之后生成宽度高度深度与feature map一样的特征矩阵，在特征矩阵上并列两个卷积层，分别进行分类和回归的预测，cls layer分支用的是1*1的卷积核，个数为2k的卷积层来处理，reg layer分支用的是1*1的卷积核，个数为4k的卷积层来处理。对于原图上一个点处产生的K个anchor，其最后输出的向量（分类信息和回归信息）为：

RPN网络的结果就是每个点都有关于K个anchor box的输出，包括是不是物体，物体的位置调整

RPN损失计算： 

与Fast-Rcnn类似，在计算损失前我们对正负样本进行了采样

对于每个anchor，首先在后面接上一个二分类softmax，有2个score 输出用以表示其是一个物体的概率与不是一个物体的概率 ，然后再接上一个bounding box的regressor 输出代表这个anchor的4个坐标位置，因此RPN的总体Loss函数可以定义为

表示一个mini-batch的所有样本个数，表示anchor位置的个数（N*M） ，真实边界框和预测边界框的转化关系如下：

Faster-RCNN的损失则与Fast-RCNN类似。

训练过程：

原论文采用分别训练的方法：

第一步：用ImageNet模型初始化，独立训练一个RPN网络；

第二步：仍然用ImageNet模型初始化前置网络参数，但是使用上一步RPN网络产生的proposal作为输入，训练一个Fast-RCNN网络

第三步：使用第二步的Fast-RCNN网络参数初始化一个新的RPN网络，但是把RPN、Fast-RCNN共享的那些卷积层的learning rate设置为0，也就是不更新，仅仅更新RPN特有的那些网络层，重新训练，此时，两个网络已经共享了前置的公共卷积层；

第四步：仍然固定共享的那些网络层，去微调Fast-RCNN网络的全连接参数。最后RPN和Fast-RCNN网络共享前置卷积网络层，形成一个同一网络。

在Faster-RCNN之后，Mask-RCNN被推出，其在Faster-RCNN的基础上加了一个预测物体Mask的分支，用来解决实例分割问题，将在之后的文章中阐述。

参考资料：https://www.bilibili.com/video/BV1ha411r7cK?spm_id_from=333.337.search-card.all.clickhttps://zhuanlan.zhihu.com/p/24916624
https://search.bilibili.com/all?from_source=webtop_search&spm_id_from=333.788.b_696e7465726e6174696f6e616c486561646572.9&keyword=yolo