Squeeze-and-Excitation Networks（SE-Net）论文阅读笔记

ABSTRACT

卷积操作通过在每一层的局部感受野内融合空间信息与通道信息来构造信息特征【多通道卷积】，前面针对空间信息已有大量研究，本论文关注通道间关系，提出“挤压和激励”——SE块，显式地建模信道之间地相互依赖性。

Squeeze-and-Excitation Block

• ​$F_{tr} $​映射输入​到特征图​中，比如：卷积操作

• ​$F_{sq}$ 使得来自网络全局感受野的信息被它的每一层使用，结果:产生了聚集空间维度上特征图的描述符

squeeze operation To mitigate the problem【特征图上每个单元不能利用对应感受野外的上下文区域信息】

就是将全局空间信息压缩到通道描述符中，具体：全局平均池化（也可选更复杂聚合技术）生成通道统计信息。

• ​$F_{ex}$ 接受嵌入作为输入，并且产生每个通道调制权重的集合

excitation operation 目的是：利用挤压操作聚集的信息，捕获通道相关性。

简单门控：直接sigmoid，复杂（为了提高通用性）：

• output: ​