池化 MaxPooling AveragePooling MeanPooling GlobalMaxPooling GlobalAveragePooling 区别

MaxPooling AveragePooling

目的：
1、整合特征
2、减少参数
2、平移不变性

如上图使用的max pooling，当底层特征向右偏移一位时，由于max pooling 只关注较大值，可以看到上层特征变化不大。

上图中三个detector分别探测不同偏移方向的数字5，当探测到对应偏移的数字5时，相应的detector就会激活。而在detector上层的pooling就能很好的对所有激活的detector产生激活。从而可以对数字的变形具有一定鲁棒性。
类别：
常有相邻矩形区域内的平均值、最大值、 L2 范数以及基于据中心像素距离的加权平均函数。
AveragePooling：对邻域内特征点求平均。

输入：
1 3
2 2
输出：
2

MaxPooling：对邻域内特征点求最大值。

输入：
1 3
2 2
输出：
3

Stochastic-pooling：
通过对像素点按照数值大小赋予概率（越大概率越大），再按照概率进行亚采样，概率越大越容易被采到，避免max pooling总是取最大值。在平均意义上，与mean-pooling近似，在局部意义上，则服从max-pooling的准则。

GlobalMaxPooling GlobalAveragePooling

global池化主要是用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个池化，形成一个特征点。来源于network in network。

全连接层存在限制输入维度大小，参数过多的问题。如上图，全连接层需将所有特征图转成向量拼接后再全连接。而global pooling思想是既然你全连接后最终还是输出一个固定大小向量，那不如直接对每个feature map进行处理。比如128个9*9的feature map，对每个feature map取最大值直接得到一个128维的特征向量。