Transformer：论文《Attention is all you need》+李宏毅课程

Transformer

Seq2seq model with Self-attention

在RNN中虽然用到了输入序列的全部信息，但是很难实现输入序列词的同时训练，在self-attention layer中，目标序列$b_1,b_2,...,b_i$中每一个都是基于全部输入序列而得到的，并且它们都是同时训练的。

Transformer结构：

Encoder：
编码器由6个相同的层堆叠在一起，每一层又有两个支层。第一个支层是一个多头的自注意机制，第二个支层是一个简单的全连接前馈网络。在两个支层外面都添加了一个residual的连接，然后进行了layer nomalization的操作。模型所有的支层以及embedding层的输出维度都是$d_{model}$。

Decoder：
解码器也是堆叠了六个相同的层。不过每层除了编码器中那两个支层，解码器还加入了第三个支层，如图中所示同样也用了residual以及layer normalization。

Self-attention layer具体的过程：

第一步：

其中：
$$q:query(tomatchothers):q^i=W^q{a}^i$$
$$k:key(tobematched):k^i=W^k{a}^i$$
$$v:informationtobeextracted:v^i=W^v{a}^i$$

第二步：
Scaled Dot-Product Attention：

首先计算attention分数（拿每个q对每个k做attention）：
$${\alpha }_{1,i}=q^1\cdot k^i/\sqrt{d}$$
其中：$d$：q和k的维度
再进行softmax运算：

再计算：
$$b^1=\sum _i{\alpha }_{1,i}{v}^i$$

在计算$b^1$的过程通过attention可以选择性的使用输入序列的所有信息。

并且能够由矩阵计算同时计算所有$b^i$,
$$输入序列I=a^1{a}^2{a}^3{a}^4$$
$$矩阵Q=q^1{q}^2{q}^3{q}^4$$
$$矩阵K=k^1{k}^2{k}^3{k}^4$$
$$矩阵V=v^1{v}^2{v}^3{v}^4$$
$$Q=W^{q}I;K=W^{k}I;V=W^{v}I$$
$$A=K^{T}Q:Attention分数的4维矩阵,softmax后得到A$$
$$输出序列O=b^1{b}^2{b}^3{b}^4$$
$$O=VA$$

Multi-head Self-attention
不同的head关注的信息不同，可以在训练过程中关注到序列的不同信息。


Positional Encoding
在self-attention中没有位置信息，但是应该需要考虑位置信息。
在论文中，给每个位置定义了一个位置向量，在计算时要计算$e^i+a^i$.