【神经网络学习】--注意力机制

【神经网络学习】–注意力机制

1.从核心思想角度理解：

注意力机制，其主要的思想是，一系列的注意力分配系数，即权重参数。通过这些权重参数来强调或选择目标处理对象中所包含的重要信息，并且抑制住一些无关的细节信息。
通俗来讲就是，将注意力集中到有用的信息上，而减少或不用再噪声中花费时间，节省算力。
把Attention仍然理解为从大量信息中，有选择的筛选出少量重要信息，并聚焦到这些重要信息上，忽略掉大多数不重要的信息。
聚焦的这个过程就体现在这些权重系数的计算上，权重越大越聚焦于其对应的Value值上，即权重代表了信息的重要性，而Value是其对应的信息。

2.从相似度或相关性的角度来理解；

1.传统的聚类，是将样本进行分类。
2.Attention是将目标与特征进行相似度的匹配。

3.从query，key，value角度来理解：

Attention通过key，query，value的三元组提供了一种有效的捕捉和聚焦重要特征的建模方式。

Attention机制的计算步骤：

1.根据query和key计算两者的相似性或者相关性。

怎么计算？

可以引入不同的函数和计算机制，根据query和某个key，计算两者的相似性和相关度。

常见的方法：

1.求两者的向量点积
2.求两者的向量cosine相似性
3.引入额外的神经网络来求值

目前绝大多数具体的Attention机制都符合以上三阶抽象的计算过程。

2.对第一步计算的注意力得分进行softmax归一化处理。

3.根据权重系数对Value进行加权求和。