【note】Transformer

Attention（注意力机制）

Attention（注意力机制）是一种信息处理机制，目标是从众多信息中选择出对当前任务目标更关键的信息。

假设有 $N$ 个输入向量 $[x_1,x_2,...,x_N]\in {\mathbb{R}}^{D\times N}$ ，询问向量为 $q\in {\mathbb{R}}^D$ 。我们需要一个打分函数来计算每个输入向量和查询向量之间的相关性。

注意力打分函数 $s(x,q)$ 常用的模型有

• 缩放点积模型 $s(x,q)=\frac{x^{T}q}{\sqrt{D}}$ ，其中 $D$ 为向量维度。
• 加性模型 $s(x,q)=v^T\tanh (Wx+Uq)$ ，其中 $W,U,v$ 为可学习的参数

选择向量 $x_n$ 的概率为 ${\alpha }_n=Softmax(s(x_n,q))=\frac{\exp (s(x_n,q))}{{\sum }_{i=1}^N\exp (s(x_i,q))}$

注意力函数将输入信息汇总：

$att(X,q)={\sum }_{n=1}^N{\alpha }_n{x}_n=E_{z\sim p(z|X,q)}[x_z]$

键值对注意力

改用 $(K,V)$ 表示 $N$ 组输入信息，将注意力函数修改为：

$att((K,V),q)={\sum }_{n=1}^N{\alpha }_n{v}_n=\frac{1}{{\sum }_{i=1}^N\exp (s(k_i,q))}{\sum }_{n=1}^N\exp (s(k_n,q))v_n$

当 $K=V$ 时即为普通的注意力机制

多头注意力

若有 $M$ 组询问 $Q=[q_1,q_2,...,q_M]$ ，每个询问关注输入信息的不同部分，将注意力函数推广为：

$att((K,V),Q)={\oplus }_{i=1}^{M}att((K,V),q_i)$

自注意力模型

自注意力模型可以自动获取模型的长距离依赖关系，提高并行计算效率。

若输入序列为 $X=[x_1,x_2,...,x_N]\in {\mathbb{R}}^{D_x\times N}$ ，输出序列为 $H=[h_1,h_2,...,h_N]\in {\mathbb{R}}^{D_v\times N}$ ，则自注意力模型的计算过程如下：

1. 将 $X$ 线性映射到三个不同的空间，得到 $Q=W_{q}X,K=W_{k}X,V=W_{v}X$ （其中 $W_q,W_j\in {\mathbb{R}}^{D_k\times D_x},W_v\in {\mathbb{R}}^{D_v\times D_x}$ 为投影矩阵）
2. 利用键值对注意力机制，得到输出向量 $h_n=att((K,V),q_n)$

若采用缩放点积模型（$s(x,q)=\frac{x^{T}q}{\sqrt{D}}$），则 $H=V\cdot Softmax(\frac{K^{T}Q}{\sqrt{D_k}})$ ，其中 Softmax 按列进行归一化

多头自注意力

在 $M$ 个投影空间中分别应用自注意力模型，捕获不同的交互信息：

$hea{d}_m=att((K_m,V_m),Q_m)$

$Multihead(X)=W_0[hea{d}_1;hea{d}_2;...;hea{d}_M]\in {\mathbb{R}}^{D_x\times N}$

其中 $W_0\in {\mathbb{R}}^{D_x\times M{D}_v}$ 为输出投影矩阵

Transformer

Transformer 是一个基于注意力机制的 Seq2Seq 模型，其网络结构包括编码器和解码器。

Transformer 的完整结构图如下：

Encoder 部分主要由一层多头自注意力和一层前馈网络构成，而 Decoder 部分中间多插入了一层与 Encoder 之间的多头注意力。

各模块主要功能如下：

1. Positional Encoding：位置编码，表示各个单词的相对位置关系。
2. Multi-head Attention：多头注意力模型。
   1. Encoder 部分的是多头自注意力模型，获取每个词元和整句话的注意力关系
   2. Decoder 部分第一层是 Masked Multi-Head Attention ，查询每个词元和其位置之前所有词的 key 的注意力关系（后文信息遮盖 Mask ）。
   3. Decoder 部分第二层，将前一层得到的注意力关系作为 query ，查询它们与 Encoder 句子中每个 key 的注意力关系
3. Add & Norm: 利用 ResNet 和 Layer Norm 对数据进行处理，便于构建深层网络
4. Feed Forward: 一个逐位置的前馈神经网络