本文由贵州大学医学院，贵州省人民医院医学影像教研室，精密影像诊疗国际示范合作基地，贵州大学计算机科学与技术学院，清华大学北京信息科学与技术国家研究中心，共同合作，于2022年5月28日发表于IF：6.1\JCR：Q1论文创新点/主要贡献：1.该研究提出了一种混合CNN与Transformer架构的网络，以整合全局和局部信息，获得更好的效果。2.该研究首次成功地将Transformer架构应用于胃病

针对CNN+transformer组合方向的研究也成为了当下计算机视觉领域研究中的大热主题。CNN-Transformer架构凭借众所周知的优势，在视觉任务上取得了令人瞩目的效果，它

点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取今天是春节后的第一篇原创，关于多任务学习，AAAI2023的work，如果您有相关工作需要分享，请在文末联系我们！>>点击进入→自动驾驶之心技术交流群论文名称：DeformableMixerTransformerforMulti-TaskLearningofDensePrediction卷积神经网络（CNN）和Transformer

点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达前言现在几乎所有大厂、高校都有团队在研究视觉Transformer的工作，这里Amusi建议大家不管你有没有想到应用的方向和场景，但都要学习一下Transformer相关知识点。强烈推荐小白看一下这两篇视觉Transformer综述：华为和北大等提出视觉Transformer：全面调研又一篇视觉Transformer综述来了！先回顾一下

End-to-endLaneShapePredictionwithTransformers》代码：https://github.com/liuruijin17/LSTR地址：https://arxiv.org/abs/2011.04233v2内容：使用CNN

YOLOv5主干特征提取网络为CNN网络，CNN具有平移不变性和局部性，缺乏全局建模长距离建模的能力，引入自然语言领域的Transformer可以形成CNN+TransFormer架构，充分结合两者的优点

CNN+Transformer的模型可参考ViT模型，注意，此模型是基于大量数据集基础上才达到SOTA的（15M-300M时才能体现出模型的优势），数据量较少时效果不佳。

介绍两篇图像分类的论文：ResMLP（arXiv2305），MetaFormer（CVPR2022），两者都与Transformer有关系，前者基于transformer结构的特点设计ResMLP，后者认为宏观架构才是Transformer成功的原因并设计一个简单的PoolFormer结构。ResMLP:Feedforwardnetworksforimageclassificationwithda

介绍几篇利用CNN+Transformer实现图像分类的论文：CMT（CVPR2022），MaxViT(ECCV2022)，MaxViT（ECCV2022），MPViT（CVPR2022）。

介绍三篇结合使用CNN+Transformer进行学习的论文：CvT（ICCV2021），Mobile-Former（CVPR2022），SegNetr（arXiv2307）.CvT:IntroducingConvolutionstoVisionTransformers

的基本思想整体网络架构自注意力机制在重叠目标的表现训练的技巧前言faster-rcnn系列(15年)，基于proposal，anchorYOLO(16年)，基于anchor，做回归都使用NMS做proposal的过滤而DETR不采用上面的思想，转而使用CNN

昨天才推了一个CNN+Transformer的新backbone：CNN+Transformer！谷歌提出BoTNet：新主干网络！

这里写目录标题0详情1摘要2主要工作3网络结构3.1Conv-stem3.2Multi-ScalePatchEmbedding3.3Multi-pathTransformer3.3.1多路径Transformer和局部特征卷积CoaT的因素分解自注意深度可分离卷积3.3.2Global-to-LocalFeatureInteraction4实验-Semanticsegmentation5总结0详情

transformer热度较高，越来越多的人都来研究transformer，并将其用于CV领域，下图（出自BoTNet论文）就介绍了当前self-Attention在CV领域的应用，而本篇文章的主角BoTNet就是利用CNN

转自新智元来源：Microsoft编辑：LRS、小匀【新智元导读】微软在arxiv上发布新论文，把CNN带入Transformer后能够同时兼顾全局和局部的信息。在计算机视觉技术发展中，最重要的模型当属卷积神经网络（CNN），它是其他复杂模型的基础。CNN具备三个重要的特性：一定程度的旋转、缩放不变性；共享权值和局部感受野；层次化的结构，捕捉到的特征从细节到整体。这些特性使得CNN非常适合计算机视

CNN+Transformer论文：点这里代码：点这里ZhiliangPeng，WeiHuang，ShanzhiGu，LingxiXie，YaoweiWang，JianbinJiao，QixiangYe

这里写目录标题参考前言cnn与transformer如何在cnn中插入transformer2021ICCV-Conformer(国科大&华为&鹏城)详情框架概述参考1.CNN+Transformer算法总结前言总结了2021年以来，所有将CNN与Transformer框架结合的CV算法在卷积神经网络(CNN)中，卷积运算擅长提取局部特征，但在捕获全局特征表示方面还是有一定的局限性。在Vision

系列文章目录本文总结了2021年以来，所有将CNN与Transformer框架结合的CV算法如有疑问与补充，欢迎评论CNN+Transformer系列算法系列文章目录前言一、Conformer(国科大&

前言：作为当前先进的深度学习目标检测算法YOLOv5，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv5的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。需要更多程序资料以及答疑欢迎大家关注——微信公众号：人工智能AI算法工程师解

前言：作为当前先进的深度学习目标检测算法YOLOv5，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv5的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。解决问题：YOLOv5主干特征提取网络为CNN网络，CNN具有平移不变性和局

GitHubMobileFormer与上面的不太一样：https://github.com/slwang9353/MobileFormer实时Transformer类轻量型MobileViT本文应该是首次将CNN