12 Tranformer原理及Python实现

根据台湾大学李宏毅老师的课程进行了整理，推荐大家去看李老师在B站上的课程。

1 CNN及RNN的缺点

• RNN：很难实现并行（左图，计算$b^4$需要串行的查询$a^1,a^2,a^3,a^4$）；
• CNN：可以实现并行，需要堆叠多层的CNN才能学习到整个序列的特征（右图）。

2 自注意力机制(self-attention)

采用自注意力机制层取代RNN来处理序列，同时实现序列的并行处理。

2.1 单头自注意力

2.1.1 按步骤进行描述计算过程

自注意力机制操作步骤如下：

• 输入序列$x$与矩阵$W$相乘得到输入的$a$，即$a^i=W{x}^i$；
• 分别与三个矩阵相乘，得到三个向量：$q^i(\mathbf{query}),k^i(\mathbf{key}),v^i(\mathbf{value})$，即$q^i=W^q{a}^i,k^i=W^k{a}^i,v^i=W^v{a}^i$；
• 每个$q$对每个$k$做attention（二者进行向量scale点积），即$q^1$分别与 $k^1,k^2,k^3,k^4$做点积（同时除以一个常数的scale因子），分别得到$a_{1,1},a_{1,2},a_{1,3},a_{1,4}$，计算公式为：$a_{1,i}=\frac{q^1\cdot k^i}{\sqrt{d}}$;
• 输入向量$a^1$和$a^2$，用$a^1$去和$W^q$相乘，得到一个向量$q^1$，然后使用$a^2$和$W^k$相乘，得到一个向量$k^2$。最后使用$q^1$和$k^2$做点积，得到${\alpha }_{1,2}$。${\alpha }_{1,2}$表示两个向量之间的相关联程度;
• 自注意力：也可以计算向量$a^1$和自己的关联性。
  
• 将${\alpha }_{1,i}$进行softmax，得到${\hat{\alpha }}_{1,i}$表示对应$v_i$的权重；
  
• 计算$b^1={\sum }_i{\hat{\alpha }}_{1,i}{v}^i$；
  
• 同理可以计算$b^2,b^3,b^4$；
  
• 输出序列$b$可以并行计算出来。
  

2.1.2 以矩阵形式描述计算过程

• 计算$q^i=W^q{a}^i,k^i=W^k{a}^i,v^i=W^v{a}^i$
  
• 计算${\alpha }_{1,1},{\alpha }_{1,2},{\alpha }_{1,3},{\alpha }_{1,4}$;${\alpha }_{2,1},{\alpha }_{2,2},{\alpha }_{2,3},{\alpha }_{2,4}$;${\alpha }_{3,1},{\alpha }_{3,2},{\alpha }_{3,3},{\alpha }_{3,4}$;${\alpha }_{4,1},{\alpha }_{4,2},{\alpha }_{4,3},{\alpha }_{4,4}$
  
• 计算$b^1,b^2,b^3,b^4$
  
  
  

2.2 多头自注意力(以两头为例)

2.3 位置编码

在训练self attention的时候，实际上对于位置的信息是缺失的，没有前后的区别，上面讲的$a^1,a^2,a^3,a^4$不代表输入的顺序，只是指输入的向量数量，不像RNN，对于输入有明显的前后顺序，比如在翻译任务里面，对于“机器学习”，机器学习依次输入。而self-attention的输入是同时输入，输出也是同时产生的。
新引入了一个位置向量$e^i$，如下图所示：

在计算的过程中将位置向量叠加到输入向量上进行后续的计算。

图中的$e^i$, 在原始论文中是一个预设值，不可学习。

3 Tranformer的原理

Transformer 模型主要分为两大部分，分别是 Encoder 和 Decoder。

• Encoder编码器负责把输入（语言序列）隐射成隐藏层（下图中第 2 步用九宫格代表的部分），即把自然语言序列映射为隐藏层的数学表达的过程；
• Decoder解码器再把隐藏层映射为自然语言序列。

3.1 编码器

编码器的关键部分以下四个部分：

• 1.子向量和位置编码；
  $$X=\text{ Embedding-Lookup }(X)+\text{ Positional-Encoding }$$

• 2.多头自注意力机制；
  $$\begin{array}{l}Q={\mathrm{Linear}}_q(X)=X{W}^Q\\ K={\mathrm{Linear}}_k(X)=X{W}^K\\ V={\mathrm{Linear}}_v(X)=X{W}^V\\ X_{\text{attention }}=Self-Attention(Q,K,V)\end{array}$$

• 3.残差连接和Layer Normalization;
  $$\begin{array}{lcc}{X}_{\text{attention }}& =& X+X_{\text{attention }}\\ X_{\text{attention }}& =& \mathrm{LayerNorm}\left(X_{\text{attention }}\right)\end{array}$$
  Layer Normalization 的作用是把神经网络中隐藏层归一为标准正态分布，也就是 i.i.d 独立同分布，以起到加快训练速度，加速收敛的作用。
  (1) 计算均值，以矩阵的列为单位：
  $${\mu }_j=\frac{1}{m}\sum x_{ij}.$$
  (2) 计算方差，也是以矩阵的列为单位：
  $${\sigma }_j^2=\frac{1}{m}\sum (x_{ij}-{\mu }_j{)}^2.$$
  (3) 进行归一化，根据中心极限定理，加一个$ϵ$是为了防止分母为0.：
  $$\mathrm{LayerNorm}(x)=\frac{x_{ij}-{\mu }_j}{\sqrt{{\sigma }_j^2+ϵ}}.$$

• 4.FeedForward的残差连接和Layer Normalization。FeedForward部分，其实就是两层线性映射并用激活函数(例如ReLU)激活。
  $$\begin{array}{lcc}{X}_{\text{hidden }}& =& \mathrm{Linear}\left(\mathrm{ReLU}\left(\mathrm{Linear}\left(X_{\text{attention }}\right)\right)\right)\\ X_{\text{hidden }}& =& X_{\text{attention }}+X_{\text{hidden }}\\ X_{\text{hidden }}& =& \mathrm{LayerNorm}\left(X_{\text{hidden }}\right)\end{array}$$

3.2 解码器

整体上看，解码器的结构从下到上依次是：

• Masked Multi-Head Self-Attention；
• Multi-Head Encoder-Decoder Attention；
• FeedForward Network。

和编码器一样，上面三个部分的每一个部分，都有一个残差连接，后接一个 Layer Normalization。

3.2.1 Masked Multi-Head Self-Attention

3.2.2 Multi-Head Encoder-Decoder Attention

4 代码分析

参考文献

https://www.cnblogs.com/chenhuabin/p/16453665.html
https://zhuanlan.zhihu.com/p/425203821