【nlp】2.6 注意力机制Attention

注意力机制

  • 1 注意力机制介绍
    • 1.1 注意力概念
    • 1.2 注意力计算规则
    • 1.3 常见的注意力计算规则
  • 2 什么是深度神经网络注意力机制
  • 3 注意力机制的作用
  • 4 注意力机制实现步骤
    • 4.1 步骤
    • 4.2 代码实现

1 注意力机制介绍

1.1 注意力概念

我们观察事物时,之所以能够快速判断一种事物(当然允许判断是错误的),是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断;而并非是从头到尾的观察一遍事物后,才能有判断结果。正是基于这样的理论,就产生了注意力机制。

1.2 注意力计算规则

它需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作用下的注意力表示. 当输入的Q=K=V时, 称作自注意力计算规则;当Q、K、V不相等时称为一般注意力计算规则

例子:生活中的Q, K, V的比喻解释:

你可能感兴趣的:(NLP自然语言处理,自然语言处理,人工智能,深度学习)