EPSANet 新的注意力模型

在看了这么多的注意力模型以后，我还以为现在注意力模块再也玩不出什么新的花样，知道我看了这篇文章EPSANet。看完以后，我眼界又开了，发现原来还可以这么玩。

1. 本文提出了一种新的高效金字塔注意力分割模块(Efficient Pyramid Split Attention, EPSA)，该模块可以有效地提取更细粒度的多尺度空间信息，同时可以建立更长距离的通道依赖关系。EPSA模块非常灵活和可扩展的，因此可以直接应用到各类计算机视觉网络架构中。
2. 本文提出了一种新的骨干网络：EPSANet，它可以学习更丰富的多尺度特征表示，同时可以自适应地对多维度的通道注意力权重进行特征重标定。
3. 大量实验表明，EPSANet可以在ImageNet和COCO数据集实现图像分类、目标检测和实例分割任务上的性能提升。

整个整体上面看，跟SE 网络很像，但是EPSANet 多了一个切分的操作。切分以后进行了多尺度的特征提取。流程图如下：

 这里关键是SPC操作，这个操作就一个特征的切分操作。具体如下：
 

看了这个注意力模块以后，我感觉其实现在注意力还可以这么玩的。