Attention and Self-Attention

1.attention

与人类学习相同，机器学习过程中我们也希望能有侧重点，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。所以就有了Attention的出现。

2.Encoder-Decoder框架

在学习attention模型之前，我们先回忆encoder-decoder框架。

Encoder-Decoder框架抽象表示

如果我们把中间语义编码C换成根据当前输出来调整成加入注意力模型的变化的C_i，那么增加了注意力模型的Encoder-Decoder框架如下：

注意力模型的Encoder-Decoder框架

3.Attention机制的本质思想

下面我们来看下注意力模型的Encoder-Decoder框架C_i具体是什么。
Attention函数的本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射。

本质

其计算方式是先计算Query和各个Key的相似性或者相关性（这里用点乘），得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention数值。所以本质上Attention机制是对Source中元素的Value值进行加权求和，而Query和Key用来计算对应Value的权重系数

计算方式

Attention机制的具体计算过程，如果对目前大多数方法进行抽象的话，可以将其归纳为两个过程：
第一个过程是根据Query和Key计算权重系数，第二个过程根据权重系数对Value进行加权求和。
而第一个过程又可以细分为两个阶段：
第一个阶段根据Query和Key计算两者的相似性或者相关性，求相似性方法有点乘，权重，余弦相似性等；
第二个阶段对第一阶段的原始分值进行归一化处理；
可以将Attention的计算过程抽象为三个阶段。

三阶段计算attention

4.例子

我们以李宏毅深度学习授课资料：Attention-based Model所讲述的机器翻译为例。
将‘机器学习’翻译为‘machine learning’

image.png

attention其实就是一个当前的输入与输出的匹配度，即为h¹和z⁰的匹配度。
h¹为当前时刻RNN的隐层输出向量，而不是原始输入的词向量，z⁰初始化向量，如rnn中的初始记忆。

第一步：求z与h的相似性得到a

第一步

第二步：softmax归一化处理得到概率值a^

第二步

第三步：对h加权求和得c

第三步

image.png

以上便是求attention得3个过程。

那么再算出了c^o之后，我们就把这个向量作为rnn的输入（如果我们decoder用的是RNN的话），然后第一个时间点的输出的编码z¹由c^o和初始状态z⁰共同决定。

image.png

将z¹替代z⁰做下一步计算。再和每一个输入的encoder的vector计算匹配度，然后softmax，计算向量加权，作为第二时刻的输入……如此循环直至结束。

image.png

image.png

5.Self-Attention

Self-Attention是Attention的特殊形式。自注意模型其实就是我们前面的query、key和value是相等的。在序列内部做Attention，寻找序列内部的联系。
例如输入一个句子，那么里面的每个词都要和该句子中的所有词进行attention计算。目的是学习句子内部的词依赖关系，捕获句子的内部结构。

6.Self-Attention GAN中的Self-Attention模型

SAGAN

在这个模型中用的就是一个自监督模块关注全局信息，它的Q、K、V都是相同的是convolution feture map,再计算attention

第一步：求相似度再归一化

计算相似度再归一化

第二步：注意层输出

注意层输出