预训练模型相对位置编码和绝对位置编码的通俗理解

相对位置编码(relative position representation)：https://zhuanlan.zhihu.com/p/397269153

Swin Transformer之相对位置编码详解：https://zhuanlan.zhihu.com/p/577855860

https://kazemnejad.com/blog/transformer_architecture_positional_encoding/