ECA模块的提出过程

接上文
作者首先肯定了通道注意力机制（在$SENet$当中提出来的）的作用，对于没有参数的$SE-VAR1$模型，其效果仍然超过没有通道注意力机制的网络，可见注意力机制是有用的。

但是作者不认为降维是有效的，作者认为这会让通道之间的关系变得不直接。

所以作者直接使用没有经过降维的模块与$SENet$模块做对比，发现比原始降维的通道注意力机制效果好…

这两个模块：$SE-VAR2$和$SE-VAR3$长这样：

从$SE-VAR2$可以看出即使是独立的学习通道，效果也比降维要好，更多的是需要在不降维的情况下学习通道之间的直接关系，而不是考虑非线性关系。
对比$SE-VAR2$和$SE-VAR3$来看，可以看出$SE-VAR3$要强于$SE-VAR2$，这个是因为$SE-VAR3$考虑了通道之间的交互关系，而不是独立的考虑各个通道。但是我们会发现$SE-VAR3$的参数量较大，在维度比较高的时候，这个矩阵是很大的，因此在$SE-VAR2$和$SE-VAR3$之间的折中是把矩阵做成以下这种对角阵的形式：

这个块叫做$SE-GC$，从表格我们可以看出，这个块相对比$SE-VAR2$来说，并没有显著的性能提升（这个$SE-GC$的实现方式是分组卷积），作者认为这可能是因为这个模块是独立地学习组与组之间的关系，更应该让组与组之间有交互。

因此作者继续对块进行了改进，也就是把矩阵改成了以下这种形式：

这个实际上就是一维卷积，而这个矩阵被称为$ECA-NS$

这里面的$k$与通道$C$有一个非线性的映射关系，也就是：

最后作者认为$k$取值为$3$的话，卷积块的效果应该会更好。