注意力机制

目录

一、结合生活场景认识注意力机制

在Encoder-Decider框架中的应用

Attention机制的具体计算过程

Self Attention模型

注意力机制

---

一、结合生活场景认识注意力机制

注意力:人类视野开阔，但焦点只有小范围或一个点。

举例:人的大脑在解决某个问题时，就必须快速从纷乱繁杂的信息中，检索出对解决问题最重要的信息。

在当前计算机算力资源的限制下，注意力机制绝对会是提高效率的一种必要手段

将【注意力】集中到有用的信息上，不要在噪声中花费时间。

在Encoder-Decider框架中的应用

文本处理和语音识别的Encoder部分常采用【RNN模型】

图像处理的Encoder一般采用【CNN模型】

案例:

分心模型:

引入注意力机制:

在众多信息中选择出对当前任务目标更关键的信息，将注意力放在上面。

Attention机制的具体计算过程

本质思想:

从概念上理解，把Attention仍然理解为【从大量信息中】【有选择地筛选出】【少量重要信息】并【聚焦到这些重要信息上】，【忽略大多不重要的信息】。

Attention：将特征与目标进行相似度匹配

具体计算过程:

步骤:

1、根据Query和Key计算两者的相似度或者相关性

2、对1的原始分值进行softmax归一化处理

3、根据权重系数对Value进行加权和

Self Attention模型

举例:

Self Attention可以捕获同一个句子中单词之间的一些语法特征

例如:query指句子中的某个单词

key指整句话中的每个单词

权重系数含义是指句中哪个词跟我这个词关联大

注意力机制

卷积、全连接、池化层都只考虑不随意线索

而注意力机制则显示的考虑随意线索

随意线索被称之为查询(query)

每个输入是一个值(value)和不随意线索(key)的对

通过注意力池化层来有偏向层的选择某些输入

非参注意力池化层

总结:

在注意力机制中，通过query(随意线索)和key(不随意线索)来有偏向性的选择输入。