Slide-Transformer: Hierarchical Vision Transformer with Local Self-Attention论文阅读笔记
-cvpr2023-当前attention机制存在的问题:①利用im2col方式计算localattention需要消耗很大的计算资源②windowattention存在固定的设计模式,如窗口应该如何移动,引入人工干涉。-Method-.ShiftasDepthwiseConvolution作者首先从新的角度上剖析了im2col的原理,并用深度卷积重新实现localattention机制。①im2