自注意力真的是Transformer的必杀技吗?MSRA否认三连!并反手给你扔来一个sMLPNet...
点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达作者:happy|转载自:极市平台导读本文构建了一种Attention-free、基于MLP的sMLPNet,主要将MLP模块中的token-mixing替换为稀疏MLP(sparseMLP,sMLP)模块,sMLPNet仅需24M参数即可在ImageNet数据及上取得81.9%top1精度,优于同等大小的CNN与VisionTr