Squeeze-and-Excitation Networks（SENet：GAP+2个FC）通道注意力模型公式解析

Squeeze-and-Excitation Networks

代码

SE-Net代码

论文

SENet论文

SENet：通道注意力机制

SENet简易网络图

1.Squeeze：（全局信息嵌入）每个卷积核都与一个区域相关联，但是每个卷积核没有办法和该区域之外的信息（上下文信息）相关联。
简单的说，通过$z\in R^C$全局平均池化收缩 $U$ 的空间维度，如下式：

2.Excitation：（全捕获引导通道依赖）

简单来说就是两层全连接层，一层降维，一层升维。
该函数应该满足两个条件：一是灵活性（通道之间的非线性交互）；二是它能够学习一种不相互排斥的关系，目的是确保多个通道被强调（不是强制的独热向量激活）

$W_1\in R^{\frac{C}{r}\ast C}$（向量相乘，得到 $\frac{C}{r}$ 维向量，相当于降维），$W_2\in R^{C\ast \frac{C}{r}}$（向量相乘，得到 $C$ 维向量，相当于升维），$\delta$是ReLU函数，$\delta (.)$函数代表是第一个全连接层，而 $\sigma$是sigmoid函数，$\sigma (.)$函数代表的是第二个全连接层。
最后，通过标量$s_c$与特征$u_c$相乘，得到输出$\widetilde{x_c}$。

SENet基线网络图

SE-inception Module

SE-inception Module是在inception的基础上加上一个SE块。

SE-ResNet Module

SE-ResNet Module在残差块中加入SE模块，最后相加输出。

实验结果

(左)ResNet-50 [13]。(中)SE-ResNet-50。(右)带有32×4d模板的SE-ResNeXt-50。

original原论文中的结果，re-implementation作者复现结果，SENet模块结果。可以看出来，加入SE模块后准确率得到了明显的提升，而且计算量也没有因为加入SE模块得到较大的改变。

Ratio $r$在一定范围内，准确率是比较稳定的，较小的$r$会显著增加模型的参数大小。当 $r=16$ 在准确率和复杂性发面取得良好的平衡。

烧烛实验（ResNet+SENet结构分析）

结果是下表

总结

文中提出了SE模块，是一种动态的重新校准通道式特征来提高网络的表征能力的方法，为后面注意力机制的进一步研究提供了新的方向，比如CBAM中通道注意力和空间注意力相结合。