SE注意力机制（笔记）

最近学习se注意力，做个笔记记录一下。

上图即为SEnet的整个流程，接下来开始讲解se注意力机制，首先我们输入一张彩色图片，假设图片尺寸为4*4*3（H'=4,w'=4,c'=3），经过一个卷积操作Ftr（卷积核为2），后变成3*3*3（H=3,W=3,C=3）。

                  R                              G                               B                

接下来进行squeeze（压缩操作），通过全局平均池化来完成，将每个通道的H*W个像素值压缩为一个实数，公式如下

 得到Z1=5/9, Z2=5/3, Z3=4/9,得到一组1*1*3的实数。

接下来进行第二步excitation激励操作，将这组1*1*3的实数先降维到1*1*（3/r），再升维到1*1*3，最后经过Sigmoid激活函数归一化为一组0~1的实数，这组0~1的实数就对应了每个通道的重要性，1为很重要，0为不重要，将得到的实数乘到之前feature map上对应通道的每个像素值。即最后输出 =（H*W*C）*（1*1*C）。所以说SE注意力机制只是单方面的考虑通道信息，没有考虑位置信息。