自注意力机制与注意力机制

基本内容理解的话推荐看一下这篇博客Transformer：注意力机制（attention）和自注意力机制（self-attention）的学习总结，这个博主讲的很细致，比较容易理解。
这里借用一下上述博客的总结：

• 注意力可以分为两种方式分别是自主提示和非自主提示。其中非自主提示是键，自主提示是查询，物体原始向量是值。键和值是一一对应的。
• 注意力机制的评分函数可以对查询和键进行关系建模，获取查询和键的相似度匹配。其方法分为两种：加性注意力和点积注意力。常用的是点积注意力。
• 如果查询和键是同一组内的特征，并且相互做注意力机制，则称为自注意力机制或内部注意力机制。
• 多头注意力机制的多头表示对每个Query和所有的Key-Value做多次注意力机制。做两次，就是两头，做三次，就是三头。这样做的意义在于获取每个Query和所有的Key-Value的不同的依赖关系。
• 自注意力机制的优缺点简记为【优点：感受野大。缺点：需要大数据。】

我补充一下两种计算注意力的方式:
首先是加性注意力计算：

可以看到是将query与key进行线性相加后，通过tanh函数进行归一化之后得到了注意力系数矩阵。
对于点乘注意力计算

是将query与key进行相乘得到，之后会经过一层softmax进行归一化。