本科生学深度学习-Attention机制

很久没有写了，今天想学习下Bert ，发现其中一个很重要的机制是self-Attention，在查self-attention的时候又回归到Attention机制，记录下。

1、Attention 是什么

Attention（注意力）机制核心逻辑就是「从关注全部到关注重点」。

attention机制是模仿人类注意力而提出的一种解决问题的办法，简单地说就是从大量信息中快速筛选出高价值信息。主要用于解决LSTM/RNN模型输入序列较长的时候很难获得最终合理的向量表示问题，做法是保留LSTM的中间结果，用新的模型对其进行学习，并将其与输出进行关联，从而达到信息筛选的目的。

2、小故事讲解

以下引用自：一文看懂 Attention（本质原理+3大优点+5大类型） - 产品经理的人工智能学习库

上面的图看起来比较抽象，下面用一个例子来解释 attention 的原理：

图书管（source）里有很多书（value），为了方便查找，我们给书做了编号（key）。当我们想要了解漫威（query）的时候，我们就可以看看那些动漫、电影、甚至二战（