机器学习中的自注意力（Self Attention）机制详解

机器学习中的自注意力（Self Attention）机制详解

2020/6/18更新：

---

之前写的有点误人子弟，只看了几个代码就把特殊当一般了，还是推荐阅读复旦大学邱锡鹏老师的《神经网络与机器学习》一书中关于注意力机制的解释。
本想把自己论文中关于注意力机制的解释放在这里的，但担心查重出现问题，还是不放了。
笔记：所谓的自注意力机制的“自”指的是一组信息中每个信息和整组信息求注意力，也就是整组信息自己和自己求注意力，可以看作一种动态的全连接层。

旧文：

---

自注意力公式如下：

$$Att(Q,K,V)=\omega (Q{K}^T)V$$

其中$Att(Q,K,V)$是得到的注意力的值，$Q$、$K$、$V$分别是查询向量（Query Vector）矩阵、键向量（Key Vector）矩阵和值向量（Value Vector）矩阵，这三个矩阵中每一行分别代表一个对应的向量。$Q$、$K$、$V$一般通过把输入序列$X$分别乘以三个矩阵$W^q$、$W^k$、$W^v$得到。

首先，对每一个样本，我们有一个$d_q$维的查询向量，构成一个$n\times d_q$维的查询向量矩阵$Q$。可以认为查询向量是样本的特征。

然后，对我们的“信息库”中的每条信息（向量），都有一个$d_q$维的键向量和$d_v$维的值向量，构成一个键值对。假设有$n_v$条信息，那么它们分别构成$n_v\times d_q$维的键向量矩阵$K$和$n_v\times d_v$维的值向量矩阵$V$。可以认为键向量是信息的特征，值向量是信息的内容。

$Q{K}_{n\times n_v}^T$代表$n$个查询向量（样本特征）与$n_v$个键向量（信息特征）之间的相似度，例如我们假设$n=2$，$n_v=3$，那么若第一行为$[2,5,3]$，则代表第一个样本与第一、二、三条信息之间的相似度分别为2、5、3。

接下来对$Q{K}_{n\times n_v}^T$施以一个激活函数$\omega (\cdot )$，通常为$Softmax(\cdot /{\sqrt{d}}_k)$，得到各个样本与各条信息间相关或相似程度的分布$\omega (Q{K}^T{)}_{n\times n_v}$，对于上一段提到的例子，我们简单地令$\omega (x)=[\frac{x_i}{\sum x_i}]$，得到$[0.2,0.5,0.3]$，这代表第一个样本与第一、二、三条信息的相关或相似度分别为20%、50%和30%。

最后，把$\omega (Q{K}_{n\times n_v}^T)$与$V_{n_v\times d_v}$相乘，得到$Att(Q,K,V)$，即值向量（信息）的加权和，权值为各个样本与各条信息间相关或相似程度的分布，这就是自注意力的最终结果。

参考资料：

https://zhuanlan.zhihu.com/p/48508221

及提出自注意力和Transformer的论文，这个就不列了(￣▽￣)"