【深度学习】Swin Transformer: Hierarchical Vision Transformer using Shifted Windows，论文

必读文章：https://blog.csdn.net/qq_37541097/article/details/121119988

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
论文：https://arxiv.org/abs/2103.14030
代码：https://github.com/microsoft/Swin-Transformer

PS

这篇文章介绍了一种名为Swin Transformer的新型视觉Transformer模型，它可以作为计算机视觉的通用骨干网络。文章指出，将Transformer从语言领域转移到视觉领域存在一些挑战，其中之一是视觉元素的尺度变化较大，与语言Transformer中固定尺度的标记不同。为了解决这个问题，作者提出了一种层次化的Transformer，使用了移动窗口的方式计算表示。移动窗口方案通过将自注意力计算限制在非重叠的局部窗口中，提高了计算效率，