Cascade R-CNN: Delving into High Quality Object Detection[CVPR2018]

论文链接：https://arxiv.org/abs/1712.00726 
代码链接：https://github.com/zhaoweicai/cascade-rcnn 

主要：IOU阈值的选取；

解决的问题：

1.    训练时过拟合；

2.    推理时quality mismatch问题；

摘要 在目标检测中，IOU临界值用来定义正样本和负样本。一个目标检测器，由低的IOU临界值比如0.5来训练，经常会产生noisy检测结果。然而，随着增加IOU临界值，检测的效果就会下降。主要是有与两个因素： 1） 训练过程中的overfitting，由于正样本的指数消失 2） 检测器最优的IoU与输入假设的IoU之间的inference-timemismatch。 一个多阶段的目标检测结构，级联R-CNN被提出来解决这些问题。它由一系列随着IOU临界值增加而训练的检测器构成，从而对close false positives更具有选择性。检测器逐阶段训练，利用检测器的输出是一个好的分布来训练下一个更好品质的检测器。对逐渐改进的假设进行重采样来保证所有的检测器由一组同等大小的正样本，从而来减少过拟合问题。在inference应用同样的级联程序，使得每一个阶段的假设和检测器质量有一个更近的匹配。级联R-CNN的一个简单实现超过了在COCO数据集挑战上的所有single-model目标检测器。实验也展示了级联R-CNN能广泛应用于不同的检测其结构，获得与基础检测器强度无关的一致增益。

1.思想简介

在这篇文章中，作者对detection问题中的两个核心，分类和定位做出了细致的分析和观察，并从这样的观察中得到启发，提出了一个非常简单易行，但是效果十分显著的办法。

这篇文章的基础是two-stage detector，如RCNN，RFCN等，在这些two stage detector中，都会有一个header的结构来对每一个proposal同时做两件事情：classification和bounding box regression（bbox reg）。在classification中，每个proposal会被根据一个指定的IoU值分为正样本和负样本；在bbox reg中，每个被标记为正样本的bbox会向其assign的ground-truth方向回归。

这里作者第一个关键的发现是在classification中，指定不同的IoU划分正负样本，会导致bbox reg的行为完全不一样。如下图左，横轴是输入的proposal的IoU，纵轴是经过bbox reg之后的bbox和ground-truth的IoU。可以看到，低IoU threshold对于低IoU的样本有更好的改善，但是对于高IoU的样本就不如高threshold的有用。原因在于不同threshold下样本的分布会不一致，也就导致同一个threshold很难对所有样本都有效。

我们知道，检测问题和分类问题有很大的不同，检测问题通过IoU来判断样本是否是正确的，因此IoU的选取对train和inference的影响都很大，来看作者做的一组实验：

先看左图，横轴的是proposal的IoU，纵轴的是经过boxreg得到的新的IoU，不同的线条代表不同阈值训练出来的detector，显然新的IoU越高，说明detector进行回归的性能越好。可以看到在0.55~0.6的范围内阈值为0.5的detector性能最好，在0.6~0.75阈值为0.6的detector性能最佳，而到了0.75之后就是阈值为0.7的detector了……

这就说明了，只有proposal自身的阈值和训练器训练用的阈值较为接近的时候，训练器的性能才最好，如果两个阈值相距比较远，就是我们之前说的mismatch问题了。
从图中我们可以意识到，单一阈值训练出的检测器效果非常有限，以现在最常见的阈值0.5为例，由于所有IoU大于0.5的proposal都会被选中，那么对于IoU0.6~0.95的proposal来说，detector的表现就很差了。那么，我能不能直接选用0.7的高阈值呢？毕竟这样子0.5~0.7的proposal都被排除了，横轴0.7~0.95之间，红色线条的表现似乎不差啊？但是看到右图你就会发现，实际上detector的性能反而是最低的，原因是这样子训练样本大大减少，过拟合问题非常严重。
如何能保证proposal的高质量又不减少训练样本？采用cascadeR-CNN stages，用一个stage的输出去训练下一个stage，就是作者给出的答案。留意到左图大部分线条都是在y=x的灰色线条之上的，这就说明某个proposal在经过detector后的IoU几乎必然是增加的，那么再经过一个更大阈值训练的detector，它的IoU就会更好。
举个例子，有三个串联起来的用0.5/0.6/0.7的阈值训练出来的detector，有一个IoU约为0.55的proposal，经过0.5的detector，IoU变为0.75；再经过0.6的detector，IoU变为0.82；再经过0.7的detector，最终IoU变为0.87……比任何一个单独的detector的结果都要好。不仅仅只有IoU改善的好处，因为每经过detector，proposal的IoU都更高，样本质量更好了，那么即使我下一个detector阈值设置得比较高，也不会有太多的样本被刷掉，这样就可以保证样本数量避免过拟合问题。

2.相关工作及一些证明

作者还把他的工作和类似的几种工作做了实验比较，在论文中是分开的，我这里统一列出来方便大家对比。先来看一张图：

 

Iterative BBox及对比

这是目前几个非常典型的工作。图(b)的Iterative BBox为了定位准确，采用了级联结构来对Box进行回归，使用的是完全相同的级联结构。但是这样以来，第一个问题：单一阈值0.5是无法对所有proposal取得良好效果的，如第1部分的图所示，proposal经过0.5阈值的detector后IoU都在0.75以上，再使用这一阈值并不明智；第二个，detector会改变样本的分布，这时候再使用同一个结构效果也不好，看下图：

 

第一行横纵轴分别是回归目标中的box的x方向和y方向偏移量；第二行横纵轴分别是回归目标中的box的宽、高偏差量，由于比较基础这里不贴公式了。我们可以看到，从1st stage到2nd stage，proposal的分布其实已经发生很大变化了，因为很多噪声经过box reg实际上也提高了IoU，2nd和3rd中的那些红色点已经属于outliers，如果不提高阈值来去掉它们，就会引入大量噪声干扰，对结果很不利。从这里也可以看出，阈值的重新选取本质上是一个resample的过程，它保证了样本的质量。
当然，这里会有另一个问题，我们这样子真的不会减少样本数量么？虽然第1部分给了比较直观感性的解释，但是似乎还不够……作者给出了更加详细的实验证明：

 

从这张图，我们可以看到，1st stage大于0.5的，到2ndstage大于0.6的，到3rd stage大于0.7的……在这一个过程中proposal的样本数量确实没有特别大的改变，甚至还有稍许提升，和2图结合起来看，应该可以说是非常强有力的证明了。
总结起来，就是：

·        cascaded regression不断改变了proposal的分布，并且通过调整阈值的方式重采样

·        cascaded在train和inference时都会使用，并没有偏差问题

·        cascaded重采样后的每个检测器，都对重采样后的样本是最优的，没有mismatch问题

Iterative Loss

Iterative Loss实际上没有级联结构，从c图可以看出来，它只是使用了不同的阈值来进行分类，然后融合他们的结果进行分类推理，并没有同时进行Box reg。作者认为，从图4中的第一个图可以看出来，当IoU提高的时候，proposal的比重下降非常迅速，这种方法没有从根本上克服overfit问题；另外，这种结构使用了多个高阈值的分类器，训练阈值却只能有一个，必然会导致mismatch问题而影响性能。

3.Cascade R-CNN的实现与结果

Cascade R-CNN的结构图在第2部分的(d)图已经给出了……
最后总结一下，作者最终确定的结构一共是4个stages: 1个RPN+3个检测器(阈值设定分别为0.5/0.6/0.7)……其中RPN的实现想必大家都很清楚了，而后面三个检测器，则按照之前介绍的那样，每个检测器的输入都是上一个检测器进行了边框回归后的结果，实现思路应该类似于Faster RCNN等二阶段检测器的第二阶段。
贴一下结果吧：

 

个人认为，这个提升还是相当惊艳的。特别需要说明的一点是，对于目前流行的检测结构来说，特征提取是耗时最多的，因此尽管Cascade R-CNN增加了比较多的参数，但是速度的影响并没有想象中的大，具体可以参考下表：

 

实际上，论文中还有相当多的部分没有提及。这篇文章还做了大量的对比实验，例如通过添加ground truth来提高proposal的质量从而验证mismatch问题；通过添加stages来分析适合的级联阶段数等等；包括一些和第2部分中提到的两种思路的对比等等，可以说是有理有据……

4.总结

Detection其实并不是一个很合适的分类问题，没有一个明确的离散的正负样本的定义，而是通过IoU来连续定义的。但是IoU这个指标很难通过gradient descent来优化，虽然之前也有一些IoU loss的工作，但是效果并不理想。Cascade RCNN便是一个在这个方向上很好的尝试。

参考：

https://zhuanlan.zhihu.com/p/35882192