SENet

论文：Squeeze-and-Excitation Networks

Github：https://github.com/hujie-frank/SENet

 

Momenta ILSVRC 2017 分类任务的冠军，top-5 错误达到2:251% ，相比2016年冠军有∼25% 的准确性提升。

 

模型整体结构：

Ftr函数表示一系列的卷积，池化操作等。其中X代表输入图片，v代表卷积核。

Fsq函数代表global average pooling，

Fex函数代表卷积和激活操作，具体的说，首先是基于r=16系数的降维操作，并且在降维后做了Relu操作，然后基于r=16系数的升维操作，生维后做sigmoid激活操作。

Fscale代表基于channel的elementwise乘积运算。

SE模块：

上图表示了基于Inception系列网络的SE模块设计和基于Resnet这种带shortcut结构的SE模块设计。其中压缩比r=16时候，获得了参数量和速度的最佳平衡。