屠榜各大CV任务!Swin Transformer : 层次化视觉Transformer

目标检测刷到58.7 AP(目前第一)!

实例分割刷到51.1 Mask AP(目前第一)!

语义分割在ADE20K上刷到53.5 mIoU(目前第一)!

性能优于DeiT、ViT和EfficientNet等主干网络,代码即将开源!

注1:文末附【Transformer】交流群

注2:整理不易,欢迎点赞,支持分享!

想看更多CVPR 2021论文和开源项目可以点击:

https://github.com/amusi/CVPR2021-Papers-with-Code

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

屠榜各大CV任务!Swin Transformer : 层次化视觉Transformer_第1张图片

  • 作者单位:微软亚洲研究院
  • 代码:https://github.com/microsoft/Swin-Transformer
  • 论文:https://arxiv.org/abs/2103.14030

本文介绍了一种称为Swin Transformer的新型视觉Transformer,它可以用作计算机视觉的通用backbone。在两个领域之间的差异,例如视觉实体尺度的巨大差异以及与文字中的单词相比,图像中像素的高分辨率,带来了使Transformer从语言适应视觉方面的挑战。

为了解决这些差异,我们提出了一个分层的Transformer,其表示是通过移动窗口来计算的。
屠榜各大CV任务!Swin Transformer : 层次化视觉Transformer_第2张图片

通过将自注意力计算限制为不重叠的局部窗口,同时允许跨窗口连接,移位的窗口方案带来了更高的效率。这种分层体系结构具有在各种尺度上建模的灵活性,并且相对于图像大小具有线性计算复杂性。

屠榜各大CV任务!Swin Transformer : 层次化视觉Transformer_第3张图片
屠榜各大CV任务!Swin Transformer : 层次化视觉Transformer_第4张图片
屠榜各大CV任务!Swin Transformer : 层次化视觉Transformer_第5张图片

实验结果

Swin Transformer的这些品质使其可与多种视觉任务兼容,包括图像分类(ImageNet-1K的准确度为86.4最高-1)和密集的预测任务。

例如目标检测(COCO测试中为58.7 box AP和51.1 mask AP)和语义分割(ADE20K val上为53.5 mIoU)。其性能在COCO上为+2.7 box AP和+2.6 mask AP.

在ADE20K上为+3.2 mIoU,远远超过了现有技术,证明了基于Transformer的模型作为视觉骨干的潜力。
屠榜各大CV任务!Swin Transformer : 层次化视觉Transformer_第6张图片

CVer-Transformer交流群

建了CVer-Transformer交流群!想要进Transformer学习交流群的同学,可以直接加微信号:CVer9999。加的时候备注一下:Transformer+学校/公司+昵称,即可。然后就可以拉你进群了。

强烈推荐大家关注CVer知乎账号和CVer微信公众号,可以快速了解到最新优质的CV论文。

屠榜各大CV任务!Swin Transformer : 层次化视觉Transformer_第7张图片

你可能感兴趣的:(Transformer,计算机视觉论文速递,backbone,人工智能,计算机视觉,机器学习,深度学习,算法)