RCNN发展史（不包括Mask RCNN）

花了一些时间整理了下RCNN，fast RCNN，faster RCNN的相关知识，尝试总结一下。

RCNN

给定一张图片，RCNN先使用selective Search（解释： http://jermmy.xyz/2017/05/04/2017-5-4-paper-notes-selective-search/ ）找到region proposal，将每个region proposal放到一个卷积神经网络中，去掉最后的全连接层，我们就可以得到该region proposal的一个向量表示（我们用feature表示该向量），将得到的feature放到SVM分类器（二分类，也就是该feature需要对每一个类别判断一次是否），然后将feature放到一个网络中进行矩形框的修正。

Fast RCNN

Fast RCNN修正了RCNN的部分缺点：首先RCNN对Region Proposal分别跑CNN，极大减慢了效率，因此Fast RCNN将对所有的Region Proposal同时跑CNN；对每个类别分别判断效率太差，因此使用了softmax直接判断类别。
具体流程是：首先产生Region proposal，将整张图片放到CNN网络中计算，得到一张feature map，在这张feature map上，每一个region proposal都会对应一个范围，我们对每个region proposal对应的范围跑ROI（能产生固定大小输出的Max Pooling），将每一个ROI层的结果放入全连接层得到一个类似于RCNN的feature，将这个feature输入到一个全连接层，接一个softmax用来判断类别；再将feature输入另一个全连接层，用来box regressor。

计算损失函数时，引入了smooth L1范数。

Faster RCNN

引入RPN网络用来减少在Region proposal产生时的时间损耗。我们将图片输入到RPN网络之后会得到一个256-d（不同的网络结构会有不同的输出）的feature map，通过sliding windows对feature map上的每一个点产生k个anchor（包含不同的大小和长宽比，文中使用3个不同的大小和3个不同的长宽比，所以k=9）。对于每一个位置上的k个anchor，我们通过cls层产生是否为目标的概率（只分前景和背景，不分类别），通过reg层产生对长宽和左上角坐标的修正，修正之后一共有W*H*k个anchor也就是region proposal（W，H为feature map的大小）。

然后将产生的region proposal送入Fast RCNN网络，所以在整个Faster RCNN网络中有两个损失函数，一个在RPN网络中，一个在Fast RCNN网络中。在训练时RPN网络和Fast RCNN网络是同时训练的，效果较分开训练更好些。

参考资料：
多种网络的总结：

1. https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650725842&idx=2&sn=e18500166c6108d7194588befba061a4&chksm=871b19acb06c90ba9c19ba73719d375c4fe1f378f9bccae82e508c34a20c7513c55a84d3441b&scene=21#wechat_redirect
2. https://blog.csdn.net/v_JULY_v/article/details/80170182
3. https://zhuanlan.zhihu.com/qianxiaosi

Faster RCNN：

1. https://www.jiqizhixin.com/articles/2018-02-23-3
2. https://medium.com/@smallfishbigsea/faster-r-cnn-explained-864d4fb7e3f8
3. https://zhuanlan.zhihu.com/p/31426458
4. https://blog.csdn.net/shenxiaolu1984/article/details/51152614
5. https://towardsdatascience.com/review-faster-r-cnn-object-detection-f5685cb30202

Selective Search

1. http://jermmy.xyz/2017/05/04/2017-5-4-paper-notes-selective-search/
2. https://blog.csdn.net/csyhhb/article/details/50425114
3. https://blog.csdn.net/surgewong/article/details/39316931