CVPR2022 oral | MetaFormer才是探索Transformer的源泉,衍生PoolFormer速度喜人
点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达Transformer在计算机视觉任务中显示出了巨大的潜力。一个普遍的观念就是,基于注意力的tokenmixermodule对Transformer的贡献最大。然而,最近的研究表明,Transformer中基于注意力的模块可以被spatialMLPs所取代,并且所得到的模型仍然表现得很好。基于这一结果,作者假设,Transfor