【nlp】2.8 注意力机制拓展

注意力机制拓展

  • 1 注意力机制原理
    • 1.1 注意力机制示意图
    • 1.2 Attention计算过程
    • 1.3 Attention计算逻辑
    • 1.4 有无attention模型对比
      • 1.4.1 无attention机制的模型
      • 1.4.2 有attention机制的模型

1 注意力机制原理

1.1 注意力机制示意图

Attention机制的工作原理并不复杂,我们可以用下面这张图做一个总结

【nlp】2.8 注意力机制拓展_第1张图片

1.2 Attention计算过程

  • 阶段一: query 和 key 进行相似度计算,得到一个query 和 key 相关性的分值
  • 阶段二: 将这个分值进行归一化(softmax),得到一个注意力的分布
  • 阶段三: 使用注意力分布和 value 进行计算,得到一个融合注意力的更好的 value 值

为了更好的说明上面的情况, 我们通过注意力来做一个机器

你可能感兴趣的:(NLP自然语言处理,自然语言处理,人工智能,注意力机制)