深度学习之图像分类(十五)DINAT: Dilated Neighborhood Attention Transformer理论精简摘要(二)
DilatedNeighborhoodAttentionTransformer摘要局部注意力机制:例如滑动窗口NeighborhoodAttention(NA)或SwinTransformer的ShiftedWindowSelfAttention。优点:尽管在降低自注意力二次复杂性方面表现出色,缺点:但是局部注意力削弱了自注意力的两个最理想的属性:长程相互依赖建模和全局感受野。在本文中,我们引入了