深度学习——SPPNet原理

从R-CNN 到Fast R-CNN，有必要了解下SPPNet，其全称为Spatial Pyramid Pooling Convolutional Networks（空间金字塔池化卷积网络）。

它将CNN的输入从固定尺寸改进为任意尺寸，例如在CNN结构中，输入图像的尺寸往往固定的（如224x224像素），输出可看做固定维数的向量。 SPPNet在普通的CNN结构中加入了ROI池化层（ROI Pooling）使得网络输入图像可以为任意size,而保证了输出维度是固定的向量。

ROI池化一般放在卷积层后，它的输入是任意大小的卷积，输出是固定维数向量，如下图为ROI池化：

 

 

 

 

 

 

---

ROI池化层是如何能把任意输入大小的卷积特征转换为固定长度的向量的呢？

设传入池化层的卷积层宽w,高h,通道c 。不管输入的图像尺寸是多大，卷积层的通道c不变，是个常数。而w,h会随着input image尺寸的变化而变化，是变量。以上图中的ROI池化层为例，它首先把卷积层划分为4x4的网格，每个网格宽高分别为：w/4, h/4，通道数为c 。若不能整除则需取整。然后对每个每个通道中每个网格做最大池化（Max Pooling），这个4x4的网格最终变为16c维度的特征向量了。再然后把卷积层划分为2x2网格，同样用最大池化提取特征，得到4c维度的向量。同样把卷积层划分为1x1网格，得到1c维向量。最后将输出特征拼接成16c+4c+c=21c维度的特征。显然这个维度特征与输入图像（换句话说输入卷积层尺寸）w,h两个数据无关，因此ROI池化层可以把任意宽度和高度的卷积特征转换为固定长度的向量。

ROI池化层怎么用到目标检测呢？

网络的输入是一张图像，经过若干卷积得到卷积特征，这个卷积特征实际上和原始图像在位置上有一定对应关系（即卷积特征在同样位置会产生激活）。因此原始图像中的候选框，实际上也可以对应到卷积特征中相同位置的框。由于候选框大小千变万化，对应到卷积特征的区域形状也形状各异，利用ROI层可以把卷积特征中不同形状区域对应到同样长度的向量特征。这样就可以将原始图像中的不同长宽的区域都对应到一个固定长度的向量特征，这就完成了各个区域特征提取工作。

在R-CNN中对于原始图像的各种候选区域框，必须把框中的图像缩放到统一大小，再对每一张缩放后的图像提取特征。使用ROI池化层后，就可以先对图像进行一遍卷积计算，得到整个图像的卷积特征；接着对于原始图像中的各种候选框，只需要在卷积特征中找到对应的位置框，再使用ROI池化层对位置框中的卷积提取特征，就完成提取特征的工作。

R-CNN和SPPNet的不同点在于，R-CNN要对每个区域计算卷积，而SPPNet只需要计算一次，因此SPPNet的效率比R-CNN高得多。

R-CNN和SPPNet的相同点在于，他们都遵循着提取候选框，提取特征，分类几个步骤，提取特征后都使用SVM进行分类。