注意力机制模块——SE、CBAM

转发
https

SENet

SE全称Squeeze-and-Excitation，它注重通道信息。



SE的出现是为了解决在卷积池化过程中feature map的不同通道所占的重要性不同带来的损失问题。在传统的卷积池化过程中，默认feature map的每个通道是同等重要的，而在实际的问题中，不同通道的重要性是有差异的，具体问题具体看待。

如上图所示，SE的结构较为清晰，具体的卷积池化过程如下图所示，下图是一个残差块中加入了SE模块的结构。

假设输入的是一个 h * w * c 的 feature map,首先对它进行一个 global average pooling ，由全局池化（池化大小为 h * w）的操作我们可以得到一个 1 * 1 * c 的 feature map ，然后就是两个全连接层，第一个全连接层的神经元个数为 c/16（作者给的参数），这就是一个降维的方法，第二个全连接层又升维到了 C 个神经元个数，这样做的好处是增加了更多的非线性处理过程，可以拟合通道之间复杂的相关性。然后再接一个sigmod层，得到 1 * 1 * c 的 feature map，最后就是一个原始的h * w * c 和 1 * 1 * c 的 feature map 全乘的操作。之所以是全乘不是矩阵相乘，那是因为这样可以得到不同通道重要性不一样的 feature map。（可以了解矩阵全乘和矩阵相乘的概念和计算方法）

所以它主要学习的是SE模块这两个全连接层的参数，它们学到了，自然最终结果就有了，所用用最终的分类损失去更新这两个全连接层的参数就可以了
注意上面采用两层全连接，第一层全连接单元个数为c/16,主要是为了压缩参数的如下，
c. * c/r + c/r * c = 2c2/r = 2c^2/r
只用一层全连接参数的话参数个数：
c * c = c ^ 2

CBAM

CBAM全称为 Convolutional Block Attention Module，它是一个卷积注意力机制模块，比SE多了一个空间（spatial）attention，两全其美。



如上图所示，CBAM可分为2部分，先是channel attention ，和SE类似，然后是 spatial attention，它融合了2种注意力机制，可添加在任意网络的卷积层后面。下面逐一介绍2个部分。



上图是CBAM的 channel attention的过程，不难看出它比SE多了一个 global max pooling（池化本身是提取高层次特征，不同的池化意味着提取的高层次特征更加丰富）。其2个池化之后的处理过程和SE一样，都是先降维再升维，不同的是将2个池化后相加再sigmod和原 feature map相乘输出结果。




上图是 spatial attention 的过程。它是将做完 channel attention 的feature map 作为输入，之后作2个大小为列通道的维度池化，每一次池化得到的 feature map 大小就为 h * w * 1 ，再将两次池化的 feature map 作基于通道的连接变成了大小为 h * w * 2 的 feature map ，再对这个feature map 进行核大小为 7*7 ，卷积核个数为1的卷积操作（通道压缩）再sigmod，最后就是熟悉的矩阵全乘了。

最终它这个空间attension feature map肯定也是学习出来的，那么具体是学习什么呢？肯定是参数，它这个过程有哪些参数，其实就是再到数第二步，用一个77的卷积核对输入的2层feature map卷积, 那么它学习的就是这个77的卷积核参数。