论文阅读——SENet：Squeeze-and-Excitation Networks

最近需要了解一下轻量化模型，把SENet看一下。

下面就是一个SE block：是输入，就是一个卷积操作，所以就是feature maps。这之后操作称为squeeze ，产生一个通道描述(channel descriptor)。这个操作在空间上聚集feature maps（可以看到经过得到的是一个1*1*C的向量，空间H*W消失了），因而具有了全局感受野。紧接着是操作称为excitation，这一步是把得到的channel descriptor通过self-gating机制对每一个通道产生调制权重。最后再把和这两步得到的channel-wise的modulation weights应用在feature maps上，这就是一个SE block的输出。

这样一个block是很简单也很容易嵌入网络的，可以叠加使用。在不同深度使用时，SE block的效果也是不同的：

浅层时feature maps提取的主要是low-level的特征，是后面high-level特征的基础，也会被后面high-level共享。所以这时用SE block是作用于无关类别的特征的；而深层时的feature maps与类别关系更紧密。下图是SE block插入Inception Model和Residual Model的示意：

后面的Ablation experiments证明了Squeeze操作的必要性：global average pooling带来的全局感受野非常重要，并且这是一个无参数的过程。Global average pooling使得空间位置信息消失了。

Excitation操作采用了两个全连接层，获取了通道间的联系。其中还有一个r倍的压缩，可以减少计算量。