神经网络与深度学习（六）——注意力机制

邱锡鹏《神经网络与深度学习》学习笔记。

为了减少计算复杂度，我们引入了局部连接，权重共享以及池化操作来简化网络结构。但目前计算机的计算能力依然是限制神经网络发展的瓶颈。因此我们依然希望在不过度增加模型复杂度（主要是模型参数）的情况下来提高模型的表达能力。

神经网络中可以存储的信息量称为网络容量（Network Capacity）。一般来讲神经网络的存储容量和神经元的数量以及网络的复杂度成正比。

我们可以借鉴人脑解决输入信息过载的机制，从两个方面来提高神经网络处理信息的能力：

1. 注意力机制。通过自上而下的信息选择机制来过滤掉大量的无关信息；
2. 外部记忆。引入额外的外部记忆，优化神经网络结构来提高网络存储信息的容量。

本文仅探讨注意力机制。

1.1 注意力机制

在计算能力有限的情况下，Attention Mechanism 作为资源分配方案，是解决信息超载问题的主要手段。

一个非常有助于理解的链接：深度学习中的注意力模型。

1.1.1 认知神经学中的注意力

大脑从大量的输入信息中，重点关注一小部分有用的信息同时忽略其他信息的选择能力，叫做注意力 （Attention）。

大脑的注意力一般分为两种：

1. 聚焦式注意力（Focus Attention）。有预定目标、依赖任务的、主动有意识的聚焦于某一对象的注意力。
2. 基于显著性的注意力（Saliency Based Attention）。由外界刺激驱动的注意力，不需要主动干预，也和任务无关。如果一个对象的刺激信息不同于其周围信息，一种无意识的“赢者通吃（Winner-Take-All）”或者门控机制（Gating）就可以把注意力转向这个对象。

目前的神经网络模型中最大池化（Max Pooling）、门控机制（Gating）近似可以看做基于显著性的注意力机制。

1.1.2 注意力机制

此处注意力机制指主动的聚焦式注意力。

用$\mathbf{X}=\left[{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_N\right]\in {\mathbb{R}}^{D\times N}$表示 $N$ 组输入信息，其中$D$维向量${\mathbf{x}}_n\in {\mathbb{R}}^D,n\in [1,N]$表示一组输入信息。为了节省计算资源，只需要从 $\mathbf{X}$ 中选择一些和任务相关的信息。

注意力机制的计算可以分为两步：

1. 在所有输入信息上计算注意力分布，
2. 根据注意力分布计算输入信息的加权平均。

1.1.2.1 注意力分布

为了从 $N$ 个输入向量$[{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_N]$中选择出和某个特定任务相关的信息，我们需要引入一个和任务相关的表示，称为查询向量（Query Vector）。并通过一个打分函数来计算每个输入向量和查询向量之间的相关性。

给定一个和任务相关的查询向量$\mathbf{q}$（查询向量可以是动态生成的，也可以是可学习的参数），我们用注意力变量$z\in [1,N]$来表示被选择信息的索引位置，即 $z=n$ 表示选择了第$n$个输入向量。为了方便计算，我们采用一种“软性”的信息选择机制。首先计算在给定$\mathbf{q}$和$\mathbf{X}$下，选择第$i$个输入向量的概率${\alpha }_n$：
$$\begin{array}{rl}{\alpha }_n& =p(z=n\mid \mathbf{X},\mathbf{q})\\ & =\mathrm{softmax}\left(s\left({\mathbf{x}}_n,\mathbf{q}\right)\right)\\ & =\frac{\exp \left(s\left({\mathbf{x}}_n,\mathbf{q}\right)\right)}{{\sum }_{j=1}^N\exp \left(s\left({\mathbf{x}}_j,\mathbf{q}\right)\right)}\end{array}$$
其中${\alpha }_n$称为注意力分布（Attention Distribution)，$s\left({\mathbf{x}}_n,\mathbf{q}\right)$为注意力打分函数（s即similarity，计算两者的相似性或者相关性），可以使用以下几种方式来计算：

• 加性模型： $s(\mathbf{x},\mathbf{q})={\mathbf{v}}^{\top }\tanh (\mathbf{W}\mathbf{x}+\mathbf{U}\mathbf{q})$
• 点积模型： $s(\mathbf{x},\mathbf{q})={\mathbf{x}}^{\text{T}}\mathbf{q}$
• 缩放点积模型： $s(\mathbf{x},\mathbf{q})=\frac{{\mathbf{x}}^{\top }\mathbf{q}}{\sqrt{D}}$
• 双线性模型： $S(\mathbf{x},\mathbf{q}）={\mathbf{x}}^{\top }\mathbf{W}\mathbf{q}$

其中 $\mathbf{W}$，$\mathbf{U}$，$\mathbf{v}$ 为可学习的参数，$D$为输入向量的维度。

理论上加性模型和点积模型的复杂度差不多，但点积模型可以更好的利用矩阵乘积，计算效率更高。

当输入向量的维度较高时，点积模型的值通常由较大的方差，从而导致 Softmax 函数的梯度会比较小。而缩放点积模型可以较好的解决这个问题。

双线性模型是一种泛化的点积模型，假设模型参数$\mathbf{W}={\mathbf{U}}^T\mathbf{V}$,双线性模型可写为$s(\mathbf{x},\mathbf{q})={\mathbf{x}}^{\top }{\mathbf{U}}^{\top }\mathbf{V}\mathbf{q}=(\mathbf{U}\mathbf{x}{)}^{\top }(\mathbf{V}\mathbf{q})$，即分别对$\mathbf{x}$, $\mathbf{q}$进行线性变换后计算点积。相比点积模型，双线性模型在计算相似度时引入了非对称性。

1.1.2.2 加权平均

注意力分布${\alpha }_n$可以解释为在给定任务相关的查询$\mathbf{q}$时，第$n$个输入向量受关注的程度。我们采用一种“软性”的信息选择机制对输入信息进行汇总，即软性注意力机制（Soft Attention Mechanism）：
$$\begin{array}{rl}\mathrm{att}(\mathbf{X},\mathbf{q})& =\sum _{n=1}^N{\alpha }_n{\mathbf{x}}_n\\ & ={\mathbb{E}}_{z\sim p(z\mid \mathbf{X},\mathbf{q})}\left[{\mathbf{x}}_z\right]\end{array}$$

软性注意力机制选择的信息是所有输入向量在注意力分布下的期望。

下图为软性注意力机制示例：

另一种注意力是只关注某一输入向量，叫作硬性注意力（Hard Attention）。硬性注意力有两种实现方式：

1）选取注意力分布中概率最高的输入向量，即最大采样：
$$\mathrm{att}(\mathbf{X},\mathbf{q})={\mathbf{x}}_{\hat{n}}$$

其中$\hat{n}$为概率最大的输入向量的下标，即 $\hat{n}={\arg \max }_{n=1}^N{\alpha }_n$。

2）在注意力分布式上随机采样。

硬性注意力的一个缺点是损失函数与注意力分布之间的函数关系不可导，无法使用反向传播算法进行训练。因此硬性注意力通常使用强化学习来进行训练。

注意力机制可以单独使用，但更多的是作为神经网络中的一个组件。

1.1.3 注意力机制的变体

1.1.3. 1 键值对注意力

用键值对（key-velue pair）格式表示输入信息，其中“键”用来计算注意力分布${\alpha }_n$，“值”用来计算聚合信息。

用$(\mathbf{K},\mathbf{V})=\left[\left({\mathbf{k}}_1,{\mathbf{v}}_1\right),\cdots ,\left({\mathbf{k}}_N,{\mathbf{v}}_N\right)\right]$表示$N$组输入信息，给定任务相关的查询向量$\mathbf{q}$时，注意力函数为：
$$\begin{array}{rl}\mathrm{att}((\mathbf{K},\mathbf{V}),\mathbf{q})& =\sum _{n=1}^N{\alpha }_n{\mathbf{v}}_n\\ & =\sum _{n=1}^N\frac{\exp \left(s\left({\mathbf{k}}_n,\mathbf{q}\right)\right)}{{\sum }_j\exp \left(s\left({\mathbf{k}}_j,\mathbf{q}\right)\right)}{\mathbf{v}}_n\end{array}$$
当$\mathbf{K}=\mathbf{V}$时，键值对模式就等价于普通的注意力机制。

键值对模式图示：

1.1.3.2 多头注意力

Multi-Head Attention 是利用多个查询$\mathbf{Q}=\left[{\mathbf{q}}_1,\cdots ,{\mathbf{q}}_M\right]$来并行地从输入信息中选取多组信息，每个注意力关注输入信息的不同部分。
$$\mathrm{att}((\mathbf{K},\mathbf{V}),\mathbf{Q})=\mathrm{att}\left((\mathbf{K},\mathbf{V}),{\mathbf{q}}_1\right)\oplus \cdots \oplus \mathrm{att}\left((\mathbf{K},\mathbf{V}),{\mathbf{q}}_M\right)$$ $\oplus$表示向量拼接。

1.1.3.3 结构化注意力

1.1.3.4 指针网络

注意力机制主要用来做信息筛选，从输入信息中选取相关的信息。

指针网络（Pointer Network）是一种序列到序列模型，输入是长度为$N$的向量序列$\mathbf{X}=\left[{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_N\right]$，输出是长度为$M$的下标序列${\mathbf{c}}_{1:M}=c_1,c_2,\cdots ,c_M,c_m\in [1,N],\forall m$

和一般的序列到序列的任务不同，这里的输出序列是输入序列的下标（索引）。比如输入一组乱序的数字，输出为按大小排序的输入数字序列的下标。如输入 20，5，10，输出 1，3，2。

条件概率$p\left(c_{1:M}\mid {\mathbf{x}}_{1:N}\right)$可以写为
$$\begin{array}{rl}p\left(c_{1:M}\mid {\mathbf{x}}_{1:N}\right)& =\prod _{m=1}^{M}p\left(c_m\mid c_{1:(m-1)},{\mathbf{x}}_{1:N}\right)\\ & \approx \prod _{m=1}^{M}p\left(c_m\mid {\mathbf{x}}_{c_1},\cdots ,{\mathbf{x}}_{c_{m-1}},{\mathbf{x}}_{1:N}\right)\end{array}$$其中条件概率$p\left(c_m\mid {\mathbf{x}}_{c_1},\cdots ,{\mathbf{x}}_{c_{m-1}},{\mathbf{x}}_{1:N}\right)$可以通过注意力分布来计算。假设用一个循环神经网络对${\mathbf{x}}_{c_1},\cdots ,{\mathbf{x}}_{c_{m-1}},{\mathbf{x}}_{1:N}$进行编码得到向量${\mathbf{h}}_m$，则
$$p\left(c_m\mid c_{1:(m-1)},x_{1:N}\right)=\mathrm{softmax}\left(s_{m,n}\right)$$
其中$s_{m,n}$为在解码过程的第$m$步时，${\mathbf{h}}_m$对${\mathbf{h}}_n$的未归一化的注意力分布，即
$$s_{m,n}={\mathbf{v}}^{\top }\tanh \left(\mathbf{W}{\mathbf{x}}_n+\mathbf{U}{\mathbf{h}}_m\right),\forall n\in [1,N]$$
其中$\mathbf{v}$,$\mathbf{W}$,$\mathbf{U}$为可学习的参数。

下图给出了指针网络的实例，其中${\mathbf{h}}_1$，${\mathbf{h}}_2$，${\mathbf{h}}_3$为输入数字 20，5，10 经过循环神经网络的隐状态，${\mathbf{h}}_0$对应特殊字符‘<’.当输入‘>’时，网络一步一步输出桑输入数字从大到小排列的下标。

1.2 自注意力机制

虽然循环网络理论上可以建立长距离依赖关系，但由于信息传递的容量以及梯度消失问题，实际上也只能建立短距离依赖关系。

如果要建立序列之间的长距离依赖关系，可以使用以下两种方法：
1）增加物理的层数，通过一个深层网络来获取远距离的信息交互；
2）使用全连接网络。

全连接网络是一种非常直接的建模远距离依赖的模型，但是无法处理变长的输入序列，不同的输入长度，其连接权重的大小也不同。这时我们可以利用注意力机制来“动态”的生成不同连接的权重，这就是自注意力模型（self-attention model）。自注意力模型更容易捕获中长距离的相互依赖关系。

为提高模型能力，自注意力模型经常采用查询-键-值（query-key-velue，QKV）模式，其计算过程如下图所示，其中红色字母表示矩阵的维度。

假设输入序列为$\mathbf{X}=\left[{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_N\right]\in {\mathbb{R}}^{D_x\times N}$，输出序列为$\mathbf{H}=\left[{\mathbf{h}}_1,\cdots ,{\mathbf{h}}_N\right]\in {\mathbb{R}}^{D_v\times N}$,自注意力模型的具体计算过程如下：

1）对于每个输入${\mathbf{x}}_i$，我们首先将其线性映射到三个不同的空间，得到查询向量KaTeX parse error: Expected '}', got 'EOF' at end of input: …athbb{R}^{D_{k}、键向量${\mathbf{k}}_i\in {\mathbb{R}}^{D_k}$和值向量${\mathbf{v}}_i\in {\mathbb{R}}^{D_v}$。
对于整个输入序列$\mathbf{X}$,线性映射过程可以简写为$$\begin{array}{l}\mathbf{Q}={\mathbf{W}}_q\mathbf{X}\in {\mathbb{R}}^{D_k\times N}\\ \mathbf{K}={\mathbf{W}}_k\mathbf{X}\in {\mathbb{R}}^{D_k\times N}\\ \mathbf{V}={\mathbf{W}}_v\mathbf{X}\in {\mathbb{R}}^{D_v\times N}\end{array}$$
其中${\mathbf{W}}_q\in {\mathbb{R}}^{D_k\times D_x},{\mathbf{W}}_k\in {\mathbb{R}}^{D_k\times D_x},{\mathbf{W}}_v\in {\mathbb{R}}^{D_v\times D_x}$分别为线性映射的参数矩阵，$\mathbf{Q}=\left[{\mathbf{q}}_1,\cdots ,{\mathbf{q}}_N\right],\mathbf{K}=\left[{\mathbf{k}}_1,\cdots ,{\mathbf{k}}_N\right],\mathbf{V}=\left[{\mathbf{v}}_1,\cdots ,{\mathbf{v}}_N\right]$分别由查询向量、键向量和值向量构成的矩阵。

2）对于每一个查询向量${\mathbf{q}}_n$利用键值对注意力机制，可以得到输出${\mathbf{h}}_n$
$$\begin{array}{rl}{\mathbf{h}}_n& =\mathrm{att}\left((\mathbf{K},\mathbf{V}),{\mathbf{q}}_n\right)\\ & =\sum _{j=1}^N{\alpha }_{nj}{\mathbf{v}}_j\\ & =\sum _{j=1}^N\mathrm{softmax}\left(s\left({\mathbf{k}}_j,{\mathbf{q}}_n\right)\right){\mathbf{v}}_j\end{array}$$
其中$n,j\in [1,N]$为输出和输入向量序列的位置，${\alpha }_{nj}$表示第$n$个输出关注到第$j$个输入的权重。

如果使用缩放点积来作为注意力打分函数，输出向量序列可以简写为
$$\mathbf{H}=\mathbf{V}\mathrm{softmax}\left(\frac{{\mathbf{K}}^{\top }\mathbf{V}}{\sqrt{D_k}}\right)$$
其中 softmax(·)为按列进行归一化的函数。

下图为全连接模型和自注意力模型的对比，实线表示可学习的权重，虚线表示动态生成的权重。由于自注意力模型的权重是动态生成的，因此可以处理变成的信息序列。

一个有助于理解的延伸阅读：详解Transformer （Attention Is All You Need）。