SE-Net注意力机制详解

本次任务：了解SE-Net原理

SE-Net 是 ImageNet 2017（ImageNet 收官赛）的冠军模型，是由WMW团队发布。具有复杂度低，参数少和计算量小的优点。且SENet 思路很简单，很容易扩展到已有网络结构如 Inception 和 ResNet 中。（这篇论文是2019年的，应该是后续做了更新）

论文链接：https://arxiv.org/abs/1709.01507

自认为所谓的注意力机制大概可以理解为：使用一些网络去计算一个权重，把这个权重与 feature map进行运算，对这个feature map进行改变，得到加强注意力后的feature map。

一、SE-Net注意力模块

我们可以看到，已经有很多工作在空间维度上来提升网络的性能。那么很自然想到，网络是否可以从其他层面来考虑去提升性能，比如考虑特征通道之间的关系？作者基于这一点并提出了Squeeze-and-Excitation Networks（简称SE-Net）。在该结构中，Squeeze和Excitation是两个非常关键的操作，所以以此来命名。作者出发点是希望建立特征通道之间的相互依赖关系。并未引入一个新的空间维度来进行特征通道间的融合，而是采用了一种全新的“特征重标定”策略。具体来说，就是通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征。

SENet核心思想：
SENet网络的创新点在于关注channel之间的关心，希望模型可以自动学习到不同channel特征的重要程度。为此，SENet提出了 Squeeze—and—Excitation(SE)模块。
（对于一张图片，不同的channel的权重一般都是不一样的。如果，我们能够把这个信息捕获出来，那么我们的网络就可以获得更过的信息，那么自然就拥有更高得准确率。）

B站讲解：八分钟精通 SENet

上图是作者提出的SE模块的示意图。给定一个输入$x$，其特征通道数为$c_1$，通过一系列卷积变换后得到一个特征通道数为$c_2$的特征。与传统的CNN不一样的是，接下来将通过三个操作来重标定前面得到的特征。

• ** 首先是Squeeze操作**，顺着空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。它表征着在特征通道上响应的全局分布，而且使得靠近输入的层也可以获得全局的感受野，这一点在很多任务中都是非常有用的。

Squeeze的操作具体来说就是对应一个全局平均池化的操作。将一个 $c_2$ 通道，$h\ast w$的特征图，压成 $c_{}$