YOLOv11改进 | 注意力篇 | YOLOv11引入24年ECCV的自调制特征聚合注意力模块(SMFA)，并构建C2PSA_SMFA

1.SMFA介绍

1.1  摘要：基于Transformer的图像复原方法由于Transformer的自注意（self-attention，SA）特性能够更好地挖掘非局部信息，从而获得更好的高分辨率图像重建效果，因此具有重要的应用价值。然而，关键点积SA需要大量的计算资源，这限制了其在低功耗器件中的应用。此外，模拟退火机制的低通特性限制了其捕获局部细节的能力，从而导致平滑的重建结果。针对该问题，该文提出了一种自调制特征聚合（SMFA）模块，该模块能够协同利用局部和非局部特征之间的交互作用，从而实现更精确的重建。具体地说，SMFA模块采用有效的自注意近似（EASA）分支来建模非局部信息，并使用局部细节估计（LDE）分支来捕获局部细节。此外，我们进一步引入一个基于部分卷积的前馈网络（PCFN）来改进从SMFA中得到的代表性特征。实验结果表明，SMFANet算法在公共基准数据集上的重建性能和计算效率之间取得了较好的平衡.特别是，与×4 SwinIR-light相比，SMFANet+在5个公共测试集上的平均性能提高了0.14dBÿ