FAST R-CNN 论文笔记

R-CNN有以下几个缺点：

1、训练分多阶段，首先fine-tune CNN，然后训练SVM作为检测器，最后训练bonding box 回归器。

2、训练时间空间消耗大。特征需要写入硬盘。

3、测试时间比较长。一张图片在VGG16网络上，GPU运行需要47s。因为对每个region proposal都当做一幅图像，通过CNN提取特征。

SPPnets（Spatial pyramid pooling networks）：

SPPnets【1】提高了R-CNN的速度。根据R-CNN的速度慢的缺点，R-CNN对每个region proposal都当做一幅图像，通过CNN提取特征，没有共享计算。SPPnet的思想是把整副图像输入CNN网络，然后把每个region proposal的对应特征提取出来，输入CNN。这样一幅图像就需要一遍CNN前向传播，共享了计算。但是每个region proposal的大小形状不一样，对应的特征大小也不一样，但全连接层需要特定大小的输入，所以SPP-NET恰好可以解决这个问题：

上图对应的就是SPP-NET的网络结构图，任意给一张图像输入到CNN，经过卷积操作我们可以得到卷积特征（比如VGG16最后的卷积层为conv5_3，共产生512张特征图）。图中的window是就是原图一个region proposal对应到特征图的区域，只需要将这些不同大小window的特征映射到同样的维度，将其作为全连接的输入，就能保证只对图像提取一次卷积层特征。SPP-NET使用了空间金字塔采样（spatial pyramid pooling）：将每个window划分为4*4, 2*2, 1*1的块，然后每个块使用max-pooling下采样，这样对于每个window经过SPP层之后都得到了一个长度为(4*4+2*2+1)*512维度的特征向量，将这个作为全连接层的输入进行后续操作。

SPPnets因为实现了计算共享，所以测试速度比R-CNN快了10~100倍，训练速度也提高了3倍。

SPPnets也存在着不足：

1.训练还是多阶段的，region proposal+fine-tune CNN+训练svm+fit Bounding box regression。特征还是需要写入硬盘。

2.fine-tune过程中只调整了全连接层，对spatial pyramid pooling之前的层没有更新。这个限制了网络的准确性。

FAST R-CNN[2]

针对R-CNN和SPPnets的缺点，FAST R-CNN 被提出来。FAST R-CNN 有以下几个优点：

1.比R-CNN和SPPnets有更高的检测准确率（mAP）。

2.使用多任务损失，训练是单阶段的。

3.训练时可以更新所有的层。

4.不需要硬盘存储提取的特征。

FAST R-CNN结构图

从上图可以看出，FAST R-CNN的整个结构和R-CNN类似，改变的地方有在卷积层后有一个ROI pooling layer 这个层的左右是把大小不同的region proposal 的特征下采样的同样的大小。最后输出采用的多任务的输出，将分类和BBOX 回归整合到一块进行。用softmax代替SVM分类器。测试时，最后输出后要经过非极大值抑制和R-CNN一样。注意：region proposal步骤还是要提前单独进行的。

The RoI pooling layer：

所有的ROI都要下采样到固定的大小H*W。若某个ROI长宽为h，w。那么要把ROI均匀分成H*W个方格，每个方格进行max pooling。是一种特殊的SPPnets，只有一层。

fine-tune：

把最后一个pooling层改为POI层，最后一个全连接层和softmax层被两个姐妹层代替（全连接层和一个K+1类的softmax，和类别相关的BBox回归）。把输入改为一幅图像和一系列的region proposals。

为了能够高效的fine-tune全部层的权重，采取了新的策略。每个mini-batch采样N幅图，每幅图采样R/N个ROIs。因为每幅图里的POIs可以共享计算，这样就提高了训练速度。

Multi task loss：

Each training RoI is labeled with a ground-truth class u and a ground-truth bounding-box regression target v.

Truncated SVD for faster detection

因为每幅图有大量的ROIs，每个ROI都要经过全连接层，所以全连接层的时间占了一半左右。可以通过Truncated SVD压缩。

全连接层的权重矩阵W可以被如下分解：

因为t<

参考论文：

1.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

2.faster R-cnn (ICCV 2015)