文献阅读笔记10——ECA注意力机制

0 写在前面

第一部分内容更针对于精度的提升，第二部分就需要找到一些方法针对速度的提升。

1 ECA注意力机制

天津大学在2020CVPR发表的一篇文章

1.1 Abstract+Conclusion

1. 目的：提高深度卷积网络的性能，并克服性能和复杂性之间权衡矛盾。
2. 挑战：复杂的注意力机制增加了模型的复杂性。
3. 提出了一种高效的通道注意力机制（ECA）
4. 作用：涉及少量参数，同时带来明显的性能增益
5. 灵感来源：SENet
6. 原理：避免降维对于学习通道注意力很重要，适当的跨通道交互可以在显著降低复杂性的同时保持性能
7. 提出了一种无降维的局部交叉信道交互策略，策略可以通过一维卷积有效实现。
8. 提出了一种自适应选择一维卷积核大小的方法，以确定局部交叉通道交互的覆盖范围。

1.2 Contributions

1. 避免维度缩减和适当的跨通道互动
2. ECA在明显改进的同时，不增加模型复杂度
3. 对比现有技术具有更低的模型复杂度