CVPR2023 RIFormer, 无需TokenMixer也能达成SOTA性能的极简ViT架构
编辑|Happy首发|AIWalker链接|https://mp.weixin.qq.com/s/l3US8Dsd0yNC19o7B1ZBgwproject,paper,codeTokenMixer是ViT骨干非常重要的组成成分,它用于对不同空域位置信息进行自适应聚合,但常规的自注意力往往存在高计算复杂度与高延迟问题。而直接移除TokenMixer又会导致不完备的结构先验,进而导致严重的性能下降。