CRAFT Objects from Images
《CRAFT Objects from Images》 2016年发表在CVPR上，对于目标检测问题，将网络结构进行了进一步的改进。
目标检测任务通常分为两个子任务：产生proposals以及将proposals分类。
在本文中，作者将两个子任务进一步细分，分别提高精度，以达到提高精确率的目的。
整体框图如下：
1. 级联的proposal生成结构
理想的proposal生成器应该产生尽量少的proposal，却能覆盖尽量多的目标实例。
由于pooling造成的分辨率损失，以及固定比例的滑动窗口，RPN在处理不同尺度不同比例的物体上仍有不足。
为了观察RPN的效果，作者基于VGG_M，使用PASCAL VOC 2007 train+val训练了RPN网络。在PASCAL VOC 2007 test上进行测试，每张图像产生300个proposals，IoU=0.5，整体的召回率达到94.87%。但在每一个类上的召回率大有不同：
其中召回率低于平均值的类别被highlight。
可以发现：1. object的比例不同、尺度不同的类别难检测（boat、bottle）
2. 外观复杂度较低、有遮挡的类别难检测（plant、tv、chair）
为了改善RPN提取的proposals质量，提出级联的结构，即RPN级联FRCN，用RPN的输出训练FRCN：
其中RPN提取一般的图案，如纹理。FRCN学到更加细致的图案。
分别训练RPN、FRCN网络。RPN网络训练后，每张训练图像上生成2000个初始proposals。用这些proposals训练FRCN网络。
训练时，positive和negative的设定与RPN相同：和任意groundTruth的IoU大于0.7视为positive；和所有groundTruth的IoU小于0.3视为negative。
测试时，RPN生成2000个初始proposals，输入到FRCN，通过合适的阈值抑制策略，可以获得小于300个proposals。这些proposals包含背景的信息更少了，而且不同来源的proposals可以整合输入，从而利用互补信息。
为什么不级联两个RPN网络？因为FRCN能够处理更难的分类问题。
2. 级联的object分类结构
分类任务需要特征能够提取到类间、类内的差异。
在Fast R-CNN中，通过softmax，分类器可以获得多类别的交叉熵损失。
多类别的交叉熵损失能够学习到丰富的类间差异，而在获取类内差异方面较弱。
Fast R-CNN的实验表明，最终检测中，错误分类是一个很大的问题。
Fast R-CNN舍弃了R-CNN中one-vs-rest SVM（训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类，这样k个类别的样本就构造出了k个SVM。分类时将未知样本分类为具有最大分类函数值的那类）。在本文中，重新应用这种形式。
训练时，使用级联的proposals生成器产生的proposals训练FRCN-1结构。之后基于FRCN-1的输出（初步检测结果）训练FRCN-2结构。舍弃“背景”类。
FRCN-2的目标函数是N个的2类交叉熵之和，N为object类别数。
每个2类分类器仅依赖于分配有相应类标签的初始检测结果，positive和negative的判定标准同前。
实际上，大约每张图片只有20个初始检测结果应用于FRCN-2训练，数量相当有限。
为了更有效地训练FRCN-2以及检测，将FRCN-1和FRCN-2权值进行共享。即FRCN-2的卷积权重来自于FRCN-1，并在训练时保持不变。FRCN-2的全连接权重也来自于FRCN-1，它们将产生2N个分数以及4N回归边界框，由高斯分布初始化（？）。
测试时，输入300个proposals，FRCN-1产生大约20个初始检测，每一个都有N个初始得分（N类）。
接着再通过FRCN-2分类，输出的分数（N个类别）与初始分数（N类别）相乘，以获得用于检测的最终N个分数。
3. 实验
3.1 生成proposal的比较
此时不共享全图像的卷积特征。在ILSVRC数据集（200类）上。
为了应对一些小目标，加了两个额外的anchor尺度：64和32，并且将batch-size改为2张图像。
由实验结果可以看出，级联FRCN结构可以在合适的参数设置下得到更好的召回率，仅用300个proposals就可以得到优于SS的结果。
proposals在不同IoU、不同box数量设置下的召回率以及准确率比较：
通过平均准确率的比较可以看出，1）换成大的网络没有用（RPN_L）。
2）提出的级联网络结构能得到更高的准确率。
3）即使添加了额外的anchor尺度，RPN在大规模的检测任务上也不会十分有效。
3.2 object分类比较
首先比较训练FRCN_2时，不同训练策略的影响：
其中，“the same”表示无微调，参数同FRCN_1；“clf”表示微调额外的one-vs-rest 分类器的权重；“fc+clf”表示微调全连接层和分类器层；“conv+fc+clf”表示微调除了conv1的其它所有层。
由实验结果可以看出，1）简单的迭代两次FRCN网络可以通过迭代回归边界框的方式稍稍提高准确率。
2）共享卷积层权重，微调靠后的层能得到最好的准确率。
其次比较分类器不同策略的平均准确率：
由实验可以看出，提出的方法准确率最高。因为one-vs-rest只处理来自FRCN_1输出中的属于同一类object，更细化了。
3.3 object检测
在PASCAL VOC 2007 & 2012数据集上：
在ILSVRC数据集上：
为进一步提高性能，proposal的生成添加一些其他操作：
其中，“Basic”指的是 3.1 生成proposal的比较 中的实验结果；“0.6NMS”代表了更严格的非最大值抑制策略，IoU阈值为0.6；“rescore”指利用级联结构的两次得分重排proposal；“+DeepBox”和“+SS”指的是将DeepBox和SS产生的proposals与RPN的proposal进行融合，再输入到FRCN结构中。数字代表召回率。
由实验结果可以看出，每一个策略都能小幅度地提高召回率。结合DeepBox的方法召回率最优。
最后是CRAFT在ILSVRC detection val2上的检测准确率以及效果展示：
