自注意力机制与注意力机制

基本内容理解的话推荐看一下这篇博客Transformer:注意力机制(attention)和自注意力机制(self-attention)的学习总结,这个博主讲的很细致,比较容易理解。
这里借用一下上述博客的总结:

  • 注意力可以分为两种方式分别是自主提示非自主提示。其中非自主提示是键,自主提示是查询,物体原始向量是值。键和值是一一对应的。
  • 注意力机制的评分函数可以对查询和键进行关系建模,获取查询和键的相似度匹配。其方法分为两种:加性注意力点积注意力。常用的是点积注意力。
  • 如果查询和键是同一组内的特征,并且相互做注意力机制,则称为自注意力机制或内部注意力机制。
  • 多头注意力机制的多头表示对每个Query和所有的Key-Value做多次注意力机制。做两次,就是两头,做三次,就是三头。这样做的意义在于获取每个Query和所有的Key-Value的不同的依赖关系。
  • 自注意力机制的优缺点简记为【优点:感受野大。缺点:需要大数据。】

我补充一下两种计算注意力的方式:
首先是加性注意力计算:
自注意力机制与注意力机制_第1张图片
可以看到是将query与key进行线性相加后,通过tanh函数进行归一化之后得到了注意力系数矩阵。
对于点乘注意力计算
自注意力机制与注意力机制_第2张图片
是将query与key进行相乘得到,之后会经过一层softmax进行归一化。

你可能感兴趣的:(机器学习,人工智能)