cv中的transformer和Non-local

两者本质上是一个东西,都是用来求自注意力的,但具体而言还是有一些差别;

1:首先说Non-local,它是像素级别的self-attention,算的是图片中各个像素点对指定像素点的影响;

2:transformer我们拿swin-transformer和vision-transformer,来举例子。

如下可,我们可以看到,两者都对图像进行了分块,不同的是swin-transformer先分了大块,再在大块里面分小块,而VIT就只分为固定的快,然后他们在做self-attention的时候,其实是算的块与块之间的注意力,但值得注意的是swintranformer只算每一个大块里面的小块之间的注意力,也就是大块与大块之间不做注意力计算。

图和内容均参考自:Vision transformer_MarDino的博客-CSDN博客_transformer vision

Swin Transformer 详解 - 知乎 (zhihu.com)

cv中的transformer和Non-local_第1张图片

cv中的transformer和Non-local_第2张图片

 

你可能感兴趣的:(CV笔记,深度学习,人工智能)