SENet网络框架

一、SENet网络框架

Squeeze-and-Excitation Networks

• 论文链接：https://arxiv.org/abs/1709.01507
• 论文代码：https://github.com/hujie-frank/SENet

二、SENet算法

1、SE block结构图

2、SE block实现公式

$F_{tr}$是卷积操作，$V=[v_1,v_2,\dots ,v_c]$是一组滤波器，$v_c$是第c个滤波器的参数，输出$U=[u_1,u_2,...,u_c]$；

3、Squeeze

Squeeze操作就是在得到U（多个feature map）之后采用全局平均池化操作对其每个feature map进行压缩，使其$C$个feature map最后变成$1\ast 1\ast C$的实数数列；

4、Excitiation

$\delta$是ReLU激活函数，$\sigma$是sigmod激活函数；$W_1\in {\mathbb{R}}^{\frac{C}{r}\times C}$，$W_2\in {\mathbb{R}}^{C\times \frac{C}{r}}$

为了限制模型复杂度和辅助泛化，论文通过引入两个全连接（FC）层（都是$1\ast 1$的conv层），即降维层参数为$W_1$，降维比例为r（论文把它设置为16），然后经过一个ReLU，然后是一个参数为$W_2$的升维层。

最后得到$1\ast 1\ast C$的实数数列结合U通过上式进行Scale操作得到最终的输出。

4、两种模型