自注意力机制不一定是灵丹妙药？？？基于MLP的sMLPNet！MSRA出品

点上方计算机视觉联盟获取更多干货

仅作学术分享，不代表本公众号立场，侵权联系删除

转载于：Sophia知乎

https://zhuanlan.zhihu.com/p/411259474

985人工智能博士笔记推荐

周志华《机器学习》手推笔记正式开源！附pdf下载链接，Github2500星！

这篇文章 

@Sophia

 刚看到时，也有点疑惑，不过看了以后觉得确实很有意思！本文是微软亚研院MSRA探索Transformer自注意力机制在目标检测的效果，它是否是Transformer在图像识别任务中取得优异性能的关键？构建了一种Attention-free的、基于MLP的sMLPNet。具体将MLP模块中的token-mixing替换为稀疏MLP(sparse MLP, sMLP)模块。2021年9月刚出来的文章

论文地址：arxiv.org/pdf/2109.05422

摘要：

sMLPNet仅需24M参数即可在ImageNet数据及上取得81.9%top1精度，优于同等大小的CNN与Vision Transformer；当参数量扩大到66M，sMLPNet取得了83.4%top1精度，具有与Swin Transformer相当精度。

MLP和稀疏MLP

sMLPNet整体架构

sMLP block

算法流程

对比实验

自注意力并非Transnformer取得优异性能的秘密武器，对此你们怎么看待？

-------------------

END

--------------------

我是王博Kings，985AI博士，华为云专家、CSDN博客专家（人工智能领域优质作者）。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容，欢迎一起交流学习、生活各方面的问题，一起加油进步！

我们微信交流群涵盖以下方向（但并不局限于以下内容）：人工智能，计算机视觉，自然语言处理，目标检测，语义分割，自动驾驶，GAN，强化学习，SLAM，人脸检测，最新算法，最新论文，OpenCV，TensorFlow，PyTorch，开源框架，学习方法...

这是我的私人微信，位置有限，一起进步！

王博的公众号，欢迎关注，干货多多

手推笔记：

思维导图  |  “模型评估与选择”  |  “线性模型”  |  “决策树”  |  “神经网络”  |  支持向量机（上）  |  支持向量机（下）  |  贝叶斯分类（上）  |  贝叶斯分类（下）  |  集成学习（上）  |  集成学习（下）  |  聚类  |  降维与度量学习  |  稀疏学习  |  计算学习理论  |  半监督学习  |  概率图模型  |  规则学习

增长见识：

博士毕业去高校难度大吗？  |  研读论文有哪些经验之谈？  |  聊聊跳槽这件事儿  |  聊聊互联网工资收入的组成  |  机器学习硕士、博士如何自救？  |  聊聊Top2计算机博士2021年就业选择  |  非科班出身怎么转行计算机？  |  有哪些相见恨晚的科研经验？  |  经验 | 计算机专业科班出身如何提高自己编程能力？  |  博士如何高效率阅读文献  |  有哪些越早知道越好的人生经验？  |  

其他学习笔记：

PyTorch张量Tensor  |  卷积神经网络CNN的架构  |  深度学习语义分割  |  深入理解Transformer  |  Scaled-YOLOv4！  |  PyTorch安装及入门  |  PyTorch神经网络箱  |  Numpy基础  |  10篇图像分类  |  CVPR 2020目标检测  |  神经网络的可视化解释  |  YOLOv4全文解读与翻译总结  | 

点分享

点收藏

点点赞

点在看