R-CNN系列学习笔记

迄今为止，我也没有用过R-CNN系列。。。看理论是一回事，实际用是另外一回事。

之前准备用，看理论时候的一些摘录笔记，都忘的差不多了。

实际用的时候，里面的每一个细节就很关键了，尤其是在自己项目需要的特定应用场景下。

细节包括理论细节和代码处理细节，都挺花时间，也都挺关键。

 

 

一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD

https://cloud.tencent.com/developer/news/281788

 

R-CNN文章详细解读

https://www.jianshu.com/p/5056e6143ed5

 

R-CNN（Selective Search + CNN + SVM）

SPP-net（ROI Pooling）

Fast R-CNN（Selective Search + CNN + ROI）

Faster R-CNN（RPN + CNN + ROI）

 

R-CNN

先Selective Search许多候选框Region Proposal（比如两千个）-->CNN-->得到每个候选框的特征-->SVM分类--> box regression

（注意：每个候选框都要进行一次CNN）

 

Fast R-CNN  （借鉴了SPPNet的思想，通过ROI Pooling的结构）

一张完整图片-->CNN-->得到Selective Search（原图）的每张候选框的特征-->多任务损失函数：softmax分类+边框回归

（注意：仍然要对原图进行Selective Search许多候选框Region Proposal。并把这些候选区域按照空间位置关系映射到最后的卷积特征层。）

 

Faster R-CNN  

一张完整图片-->CNN-->Region Proposal Network（RPN）得到每张候选框的特征-->多任务损失函数：softmax分类+边框回归

 

Mask R-CNN  

Fine-tuning

https://www.julyedu.com/question/big/kp_id/26/ques_id/2137

通常，前面的层提取的是图像的通用特征（generic features）（例如边缘检测，色彩检测），这些特征对许多任务都有用。后面的层提取的是与特定类别有关的特征，因此fine-tune时常常只需要Fine-tuning后面的层。

网络前几层学到的是通用特征，后面几层学到的是与类别相关的特征。

 

关于什么是边框回归，请参看本深度学习分类下第56题：https://www.julyedu.com/question/big/kp_id/26/ques_id/2139

 

SPP Net（spatial pyramid pooling layer）

ROI pooling layer实际上是SPP-NET的一个精简版，SPP-NET对每个proposal使用了不同大小的金字塔映射。

加入这个神奇的ROI Pooling层，对每个region都提取一个固定维度的特征表示，再通过正常的softmax进行类型识别。

 

ROI Pooling 与 SPP 理解：https://blog.csdn.net/qq_35586657/article/details/97885290

ROI Pooling是针对RoIs的Pooling，其特点是输入特征图尺寸不固定，但是输出特征图尺寸固定。

ROI Pooling的思想来自于SPPNet中的Spatial Pyramid Pooling，在Fast RCNN中使用时，将SPPNet中多尺度的池化简化了为单尺度。

ROI Pooling 与 SPP 的区别：

两者起到的作用是相同的，把不同尺寸的特征输入转化为相同尺寸的特征输出。SPP针对同一个输入使用了多个不同尺寸的池化操作，把不同尺度的结果拼接作为输出；而ROI Pooling可看作单尺度的SPP，对于一个输入只进行一次池化操作。

在Fast RCNN中， RoI是指Selective Search完成后得到的“候选框”在特征图上的映射。

在Faster RCNN中，候选框是经过RPN产生的，然后再把各个“候选框”映射到特征图上，得到RoIs。

 

Region Proposal Networks(RPN)

其实RPN最终就是在原图尺度上，设置了密密麻麻的候选Anchor。然后用cnn去判断哪些Anchor是里面有目标的positive anchor，哪些是没目标的negative anchor。所以，仅仅是个二分类而已。

 

Feature Pyramid Network (FPN) （maskRNN中使用）

FPN的提出是为了实现更好的feature maps融合，一般的网络都是直接使用最后一层的feature maps，虽然最后一层的feature maps 语义强，但是位置和分辨率都比较低，容易检测不到比较小的物体。FPN的功能就是融合了底层到高层的feature maps ，从而充分的利用了提取到的各个阶段的特征（ResNet中的C2-C5）。

FPN是一种精心设计的多尺度检测方法。FPN实际上是一种通用架构，可以结合各种骨架网络使用，比如VGG，ResNet等。

 

物体探测的两类方法：

two stage 的目标检测算法是先由算法生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类；

one stage 的目标检测算法。则不用产生候选框，直接将目标边框定位的问题转化为回归问题处理。

正是由于两种方法的差异，在性能上也有不同，前者在检测准确率和定位精度上占优，后者在算法速度上占优。

 

一文读懂Faster RCNN

https://zhuanlan.zhihu.com/p/31426458

 

令人拍案称奇的Mask RCNN

https://zhuanlan.zhihu.com/p/37998710

 

Code：

https://github.com/matterport/Mask_RCNN

https://github.com/facebookresearch/Detectron