Swin Transformer

Hierarchical 分层的
a general-purpose backbone 一个通用的骨干网络
图像局部性原理:
同一个物体的不同部位,或者说语义相近的不同物体,大概率会出现在相连的地方。
如何生成多尺度的特征?
卷积中,通过pooling(即池化操作)生成多尺度特征。因为每次池化,能增大感受野。
类似于卷积,swin中提出了patch merging,把相邻的小patch合成一个大patch。

 

Swin Transformer_第1张图片

你可能感兴趣的:(AI论文精读--李沐,transformer,深度学习,人工智能)