Transformer

本节主要讲了Self-Attention的原理以及在Transformer上的应用。

1.1 RNN的缺点

RNN的缺点就是无法并行计算参数，就比如要计算b4，就要计算出a1-a4。有人提出用CNN代替RNN：

优点：可以并行处理参数；

缺点：单层的CNN只能考虑非常有限的内容，若要考虑更多的内容就需要叠加很多层。

1.2 Self-Attention

Self-Attention的输入输出与RNN一样，都是sequence。它和双向RNN有同样的能力，每一个输出都是看过整个input sequence，区别就在于b1-b4可以并行计算。

先将输入x(sequence)通过矩阵W，转换成a(embedding)，然后用a乘上三个不同的矩阵得到三个向量q、k、v。

 先将输入x(sequence)通过矩阵W，转换成a(embedding)，然后用a乘上三个不同的矩阵得到三个向量q、k、v。

然后用每个q去对每个k进行attention运算，得到-，再进行soft-max处理得到对应的。

将与v相乘加权得到b。

上述过程可以用矩阵运算表示，就可以并行处理。

• Multi-head Self-attention

以两个head为例，就是把q、k、v分成两个单独的向量，最后得到的输出向量b也是两个，可以乘上一个矩阵进行降维得到b。这样做的好处就是，不同head的注意点不同，一个head的关注范围是全局，另一个是局部。

• Position Encoding

在原始文献中，用超参数e来代表位置信息。视频中提到的一种方法，用one-hot向量来代表位置信息，然后和x拼接，与W相乘，得到结果和论文中的一样。

1.3 Transformer

下图是一个seq2seq 模型，左半部是encoder，右半部是decoder。

Encoder：

输入通过一个input embedding layer变成一个向量，然后加上一个位置向量进入灰色的block，这个block会重复多次。

第一层是Multi-head attention，输入一个sequence，输出另一个sequence；

第二层是Add&Norm：把Multi-head attention的输入和输出加起来得到b′，然后做layer Norm；

第三层是Feed Forward，会把sequence 的每个b′向量进行处理；

第四层是另一个Add&Norm。

Decoder：

decoder的输入是前一个时间点的输出，通过output embedding，再加上位置向量进入灰色的block，灰色block同样会重复多次。

第一层是Masked Multi-head attention，Masked的意思是，在做self-attention的时候，这个decoder只会append已经产生的sequence，因为没有产生的部分无法做attention；

• Application

只要用seq2seq的任务都可以换成transformer，比如机器翻译，文献摘要等。