SPP、ASPP与PPM

SPP

SPP模块是何凯明大神在2015年的论文《Spatial Pyramid Pooling in Deep ConvolutionalNetworks for Visual Recognition》中被提出。
在R-CNN中需要固定输入图片的尺寸，因为卷积层后面的全连接层的结构是固定的。但在现实中，我们的输入的图像尺寸总是不能满足输入时要求的大小，然而通常的手法就是裁剪(crop)和拉伸(warp)，但这样做总归是不好的，其扭曲了原始的特征。而SPP层通过将候选区的特征图划分为多个不同尺寸的网格，然后对每个网格内都做最大池化，这样依旧可以让后面的全连接层得到固定的输入。

Fast-RCNN中的ROI pooling层实际上就是一种特殊的spatial pyramid pooling，它们思想是类似的，只是ROI pooling只用一种尺寸的网格来池化，而spatial pyramid pooling同时用了多种尺寸的网格。

PPM

PPM(Pyramid Pooling Module)是PSPNet中提出的一个模块，PSPNET是用于语义分割的一个网络。
现在大多数先进的语义分割框架大多数基于FCN，FCN不能有效的处理场景之间的关系和全局信息。
一般来说网络越深感受野越大(resceptive field)，但是理论上的感受野和实际网络中的感受野还是有差距的（实际的感受野小于理论的感受野），这使得网络无法有效的融合全局特征信息，作者提出的PPM就解决了这个问题。
GAP(Global Average Pooling,全局平均池化)能够有效的融合全局上下文信息，但是其对信息的融合和提取能力有限，而且简单的使用GAP将信息压缩为一个通道很容易损失很多有用的信息，因此将不同感受野的特征和子区域的特征融合可以增强特征表征能力。

上图就是PPM模块，从前面网络中提取出的特征图在此处分成两个分支，一个分支分为多个子区域进行GAP（这与PSP模块中的结构类似·），接着用1*1的卷积调整通道大小，再通过双线性插值获得未池化前的大小，最后将两个分支融合。
PSP模块能够聚合不同区域的上下文从而达到获取全局上下文的目的。

ASPP

ASPP(atrous spatial pyramid pooling)是在deeplab中提出来的，在后续的deeplab版本中对其做了改进，如加入BN层、加入深度可分离卷积等，但基本的思路还是没变。
讲到ASPP时，首先需要提到空洞卷积（Atrous/Dilated Convolution）。在于语义分割任务中，想要对图片提取的特征具有较大的感受野，并且又想让特征图的分辨率不下降太多（分辨率损失太多会丢失许多关于图像边界的细节信息），但这两个是矛盾的，想要获取较大感受野需要用较大的卷积核或池化时采用较大的strid，对于前者计算量太大，后者会损失分辨率。而空洞卷积就是用来解决这个矛盾的。即可让其获得较大感受野，又可让分辨率不损失太多。空洞卷积如下图：

（a）是rate=1的空洞卷积，卷积核的感受野为3×3，其实就是普通的卷积。
（b）是rate=2的空洞卷积，卷积核的感受野为7x7
（c）是rate=4的空洞卷积，卷积核的感受野为15x15
空洞卷积的好处是不做pooling损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。

进行分割任务时，图像存在多尺度问题，有大有小。一种常见的处理方法是图像金字塔，即将原图resize到不同尺度，输入到相同的网络，获得不同的feature map，然后做融合，这种方法的确可以提升准确率，然而带来的另外一个问题就是速度太慢。DeepLab v2为了解决这一问题，参考了SPP、PPM等引入了ASPP（atrous spatial pyramid pooling）模块，即是将feature map通过并联的采用不同膨胀速率的空洞卷积层用于捕获多尺度信息，并将输出结果融合得到图像的分割结果。如下图所示，这是在deeplab v3中改进后的ASPP。用了一个1×1的卷积和3个3×3的空洞卷积，每个卷积核有256个且都有BN层。事实上，1×1的卷积相当于rate很大的空洞卷积，因为rate越大，卷积核的有效参数就越小，这个1×1的卷积核就相当于大rate卷积核的中心的参数。