自然语言处理中的Attention Model

1、人脑注意力模型

说到底是一种资源分配模型，在某个特定时刻，注意力总是集中在画面中的某个焦点部分，而对其他部分视而不见
Attetion Model也是一样的道理。

2、Encoder-Decoder框架

image.png

可以把Encoder-Decoder看做适合处理由一个句子(或篇章)生成另外一个句子(或篇章)的通用处理模型。对于句子对，我们的目标是输入句子X，期待通过Encoder-Decoder框架来生成目标句子Y。X和Y可以是同一种语言，也可以是两种不同的语言。而X和Y分别由各自的单词序列构成：
X =
Y =
Encoder对输入句子X进行编码，将输入句子通过非线性变化转化为中间语义表示C:
C = F(x1,x2,...xn)
对于解码器来Decoder来说，根据句子X的中间语义表示C和之前生成的历史信息y1,y2...,yi-1来生成i时刻要生成的单词 yi = g(C,y1,y2,...,yi-1)
每个y都这么生成，那么看起来就是整个系统根据输入句子X生成了目标句子Y.
Encoder-Decoder是一个非常通用的计算框架，至于用什么模型，常见的LSTM/CNN/RNN/BiRNN/GRU等等，都可以做Encoder/Decoder。对应的应用场景很多，机器翻译， ，X对应英语句子，Y对应中文翻译；文本摘要，X就是一篇文章，Y就是对应的摘要；比如机器人，X和Y为一对对话。等等

3、Attention Model

上述Encoder-Decoder没有引入注意力模型，会丢失很多细节信息。
以机器翻译为例，Tom chase Jerry。Encoder-Decoder在逐步翻译的时候，比如翻译Jerry，输入句子的每个
单词对翻译结果杰瑞的贡献度是相同的，很明显这不合理。这就是为什么需要引入Attention Model的原因。
根据上述例子，引入AM模型的话，应该在翻译"杰瑞"的时候，体现出英文单词对于翻译当前中文单词的不同影响程度，比如给出类似下面一个概率分布值：
（Tom, 0.3）(Chase, 0.2) (Jerry, 0.5)
每个英文单词的概率代表了翻译当前单词"杰瑞"时，注意力分配模型分配给不同英文单词的注意力大小。同理，目标句子中的每个单词都应该学会其对应的源语句中单词的注意力分配概率信息。这意味着在生成每个单词Yi的时候，原先都是相同的中间语义表示C会替换成根据当前输出单词来调整成加入注意力模型的变化的Ci。增加了AM模型的Encoder-Decoder框架如下图所示：

image.png

即生成目标句子单词的过程成了下面的形式：
y1 = f1(C1)
y2 = f2(C2, y1)
y3 = f3(C3, y1, y2)
而每个Ci可能对应着不同的源语句单词的注意力分配概率分布，比如对于上面的英汉翻译来说，其对应的信息可能如下：

image.png

其中，f2函数代表Encoder对输入英文单词的某种变换函数，比如如果Encoder是用的RNN模型的话，这个f2函数的结果往往是某个时刻输入xi后隐层结点的状态值；g代表Encoder根据单词的中间表示合成整个句子中间语义表示的变换函数，一般的做法是中，g函数就是对构成元素加权求和，也就是下面的公式：

image.png

假设Ci中那个i就是上面的"汤姆"，那么Yx就是3，代表输入句子的长度，h1 = f("Tom")，h2 = f("Chase")，h3 = f("Jerry")，对应的注意力模型权值分别是0.6, 0.2, 0.2，所以g函数就是加权求和函数。形象的表示当翻译中文单词"汤姆"的时候，数学公式对应的中间语义Ci的形成过程类似下图：

image.png

那么问题来了，如何得到源语句单词的注意力分配概率分布？
（Tom, 0.6）(Chase, 0.2) (Jerry, 0.2)
我们把Encoder-Decoder模型细化，Encoder采用RNN模型，Decoder也采用RNN模型，如下所示：

image.png

那么下图可以说明注意力分配概率分布值的通用计算模型：

image.png

对于采用RNN的Decoder来说，如果要生成yi单词，在时刻i，我们是可以知道在生成Yi之前的隐层节点i时刻的输出值Hi的，而我们的目的是要计算生成Yi时的输入句子单词“Tom”、“Chase”、“Jerry”对Yi来说的注意力分配概率分布，那么可以用i时刻的隐层节点状态Hi去一一和输入句子中每个单词对应的RNN隐层节点状态hj进行对比，即通过函数F(hj,Hi)来获得目标单词Yi和每个输入单词对应的对齐可能性，这个F函数在不同论文里可能会采取不同的方法，然后函数F的输出经过Softmax进行归一化就得到了符合概率分布取值区间的注意力分配概率分布数值。