本科生学深度学习-Attention机制

很久没有写了,今天想学习下Bert ,发现其中一个很重要的机制是self-Attention,在查self-attention的时候又回归到Attention机制,记录下。

1、Attention 是什么

Attention(注意力)机制核心逻辑就是「从关注全部到关注重点」。

attention机制是模仿人类注意力而提出的一种解决问题的办法,简单地说就是从大量信息中快速筛选出高价值信息。主要用于解决LSTM/RNN模型输入序列较长的时候很难获得最终合理的向量表示问题,做法是保留LSTM的中间结果,用新的模型对其进行学习,并将其与输出进行关联,从而达到信息筛选的目的。

2、小故事讲解

以下引用自:一文看懂 Attention(本质原理+3大优点+5大类型) - 产品经理的人工智能学习库

上面的图看起来比较抽象,下面用一个例子来解释 attention 的原理:

本科生学深度学习-Attention机制_第1张图片

图书管(source)里有很多书(value),为了方便查找,我们给书做了编号(key)。当我们想要了解漫威(query)的时候,我们就可以看看那些动漫、电影、甚至二战(

你可能感兴趣的:(本科生学深度学习,深度学习,人工智能)