池化技术总结

 

导言：

    池化是一个几乎所有做深度学习的人都了解的一个技术，大家对池化如何进行前向传播也都了解，池化的作用也了解一二。然而，池化如何回传梯度呢，池化回传梯度的原则是什么呢，最大池化与平均池化的区别是什么呢，什么时候选择最大池化、什么时候选择平均池化呢。

    主要用的池化操作有平均池化、最大池化、全局平均池化，全局自适应池化。此外还有很多，如RoI池化、金字塔池化、重叠池化、随机池化、双线性池化等。

    在本文中将会对这些内容一一总结。

 

池化的作用

1. 抑制噪声，降低信息冗余。

2. 提升模型的尺度不变性、旋转不变性。

3. 降低模型计算量。

4. 防止过拟合。

此外，最大池化作用：保留主要特征，突出前景，提取特征的纹理信息。平均池化作用：保留背景信息，突出背景。这两者具体后面会介绍，这里只介绍它们的作用。

 

池化回传梯度

池化回传梯度的原则是保证传递的loss（或者说梯度）总和不变。根据这条原则很容易理解最大池化和平均池化回传梯度方式的不同。

平均池化的操作是取每个块( 如2x2 )的平均值，作为下一层的一个元素值，因此在回传时，下一层的每一元素的loss(或者说梯度)要除以块的大小( 如2x2 = 4)，再分配到块的每个元素上，这是因为该loss来源于块的每个元素。

注意：如果块的每个元素直接使用下一层的那个梯度，将会造成Loss之和变为原来的N倍。具体如下图。