Transformer

一、资料链接

[1. Attention is all you need]

(https://www.bilibili.com/video/BV1pu411o7BE).
下载地址 ：https://arxiv.org/abs/1706.03762

d

点乘的几何意义

内积（点乘）的几何意义包括：

1. 表征或计算两个向量之间的夹角
2. b向量在a向量方向上的投影
   
   在这里我们可以理解为，Query与key的点乘越大，其相似度也就越大，即a与b之间的夹角越小，其月接近

2. Vision Transformer

https://www.bilibili.com/video/BV15P4y137jb/?spm_id_from=333.788.videocard.1
论文地址：https://arxiv.org/pdf/2010.11929.pdf
代码地址：Pytorch版本 https://github.com/lucidrains/vit-pytorch
官方代码：https://github.com/google-research/vision_transformer

3.Swin transformer

https://www.bilibili.com/video/BV1hQ4y1e7js?from=search&seid=9470866365001647976&spm_id_from=333.337.0.0

论文地址：https://arxiv.org/pdf/2103.14030v1.pdf
代码地址：https://github.com/microsoft/Swin-Transformer