学习 Visual Transformer

Transformer 模型 （速度快）

使用了 Self-Attention 机制，不采用RNN顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。

Transformer是一个Sequence to Sequence model，特别之处在于它大量用到了self-attention。

self-attention可以代替RNN

image.png

self-attention： q、k、v、

x-->a(embedding)
q=w1a、k=w2a、 v=w3a
详细过程请参考下面的链接
最后可以得到的矩阵乘法可以用GPU加速。

Multi-head Self-attention

做多个映射，产生多个a,然后concat

image.png

image.png

位置Embedding 用PE表示. 是为了加入input的顺序。

image.png

参考注：https://mp.weixin.qq.com/s/HU1wXzPH6yZEbMPstES1CA