注意力机制

1. 简介

心理学

• 动物需要在复杂环境下有效关注值得注意的点
• 心理学框架：人类根据随意（有意识）线索和不随意（无意识）线索选择注意点

注意力机制是一种在深度学习领域中的重要技术，尤其在自然语言处理（NLP）任务中取得了显著的成果。本文将介绍注意力机制的基本概念、原理和如何在神经网络模型中应用注意力机制。

注意力机制

• 卷积、全连接、池化层都只考虑不随意线索
• 注意力机制则显示的考虑随意线索
  • 随意线索被称之为查询（query）
  • 每个输入是一个值（value）和不随意线索（key）的对
  • 通过注意力池化层来有偏向性的选择某些输入

---

2. 非参数化注意力池化层

• 给定数据$(x_i,y_i),i=1,...,n$

• 平均池化是最简单的方案：$f(x)=\frac{1}{n}\sum _i{y}_i$

• 更好的方案是60年代提出来的Nadaraya-Watson核回归
  $$f(x)=\sum _{i=1}^n\frac{K(x-x_i)}{{\sum }_{j=1}^{n}K(x-x_j)}{y}_i$$
  $x$为query，$x_j$为key，$y_i$为value。

Nadaraya-Watson核回归

• 使用高斯核$K(u)=\frac{1}{\sqrt{2\pi }}exp(-\frac{u^2}{2})$

• 那么
  $$\begin{gathered} f(x)=\sum _{i=1}^n\frac{exp(-\frac{1}{2}(x-x_i{)}^2)}{{\sum }_{j=1}^{n}exp(-\frac{1}{2}(x-x_j{)}^2)}{y}_i \\ =\sum _{i=1}^{n}softmax(-\frac{1}{2}(x-x_i{)}^2)y_i \end{gathered}$$

---

3. 参数化的注意力机制

在之前的基础上引入可以学习的$w$
$$f(x)=\sum _{i=1}^{n}softmax(-\frac{1}{2}((x-x_i)w{)}^2)y_i$$

---

4. 注意力分数

注意力分数主要是对注意力权重的修改。

拓展到高维度

• 假设query $q\in {\mathbb{R}}^q$，$m$对key-value$(k_1,v_1)$，…，这里$k_i\in {\mathbb{R}}^k,v_i\in {\mathbb{R}}^v$

• 注意力池化层：
  $$\begin{gathered} f(q,(k_1,v_1),...,(k_m,v_m))=\sum _{i=1}^m\alpha (q,k_i)v_i\in {\mathbb{R}}^v \\ \alpha (a,k_i)=softmax(\alpha (q,k_i))=\frac{exp(a(q,k_i))}{{\sum }_{j=1}^{m}exp(aq,k_j)}\in \mathbb{R} \end{gathered}$$
  

此时，关键是$a$如何设计。

1. Additive Attention

• 可学参数：$W_k\in {\mathbb{R}}^{h\times k},W_q\in {\mathbb{R}}^{h\times q},v\in {\mathbb{R}}^h$

  $a(k,q)=v^{T}tanh(W_{k}k+w_{q}q)$

• 等价于将key核value合并起来后放入到一个隐藏大小为h，输出大小为1的单隐藏层MLP

2. Scaled Dot-Product Attention

• 如果query和key都是同样的长度$q,k_i\in {\mathbb{R}}^d$，那么可以
  $$a(q,k_i)=<q,k_i>/\sqrt{d}$$

• 向量化版本

  • $Q\in {\mathbb{R}}^{n\times d},K\in {\mathbb{R}}^{m\times d},V\in {\mathbb{R}}^{m\times v}$

  • 注意力分数：$a(Q,K)=Q{K}^T/\sqrt{d}\in {\mathbb{R}}^{n\times m}$

  • 注意力池化：$f=softmax(a(Q,K))V\in {\mathbb{R}}^{n\times v}$

总结：

• 注意力分数是query和key的相似度，注意力权重是分数的softmax结果
• 两种常见的分数计算：
  • 将query和key合并起来进入一个单输出单隐藏层的MLP
  • 直接将query和key做内积

---

5. 自注意力和位置编码

• 给定序列$x_1,...,x_n,\forall x_i\in {\mathbb{R}}^d$

• 自注意力池化层将$x_i$当作key，value，query来对序列抽取特征得到$y_1,...,y_n$。这里$y_i=f(x_i,(x_1,x_1),...,(x_n,x_n))\in {\mathbb{R}}^d$

跟CNN，RNN对比

位置编码

• 和CNN/RNN不同，自注意力并没有记录位置信息

• 位置编码将位置信息注入到输入里

  • 假设长度为$n$到序列是$X\in {\mathbb{R}}^{n\times d}$，那么使用位置编码军阵$P\in {\mathbb{R}}^{n\times d}$来输出$X+P$作为自编码输入

• $P$的元素如下计算：
  $$p_{i,2j}=\sin (\frac{i}{10000^{2j/d}}),p_{i,2j+1}=\cos (\frac{i}{10000^{2j/d}})$$
  

总结：

• 自注意力池化层将$X_i$当作key，value，query来对序列抽取特征
• 完全并行、最长序列为1、但是对长序列计算复杂度高
• 位置编码在输入中加入位置信息，使得自注意力能够记忆位置信息