编码器—解码器和注意力机制

    在基于词语的语言模型中，我们使用了循环神经网络。它的输入是一段不定长的序列，输出却是定长的，例如一个词语。然而，很多问题的输出也是不定长的序列。以机器翻译为例，输入是可以是英语的一段话，输出可以是法语的一段话，输入和输出皆不定长，例如

英语：They are watching.

法语：Ils regardent.

当输入输出都是不定长序列时，我们可以使用编码器—解码器（encoder-decoder）或者seq2seq。它们分别基于2014年的两个工作：

• Cho et al., Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
• Sutskever et al., Sequence to Sequence Learning with Neural Networks

以上两个工作本质上都用到了两个循环神经网络，分别叫做编码器和解码器。编码器对应输入序列，解码器对应输出序列。下面我们来介绍编码器—解码器的设计。

编码器—解码器

编码器和解码器是分别对应输入序列和输出序列的两个循环神经网络。我们通常会在输入序列和输出序列后面分别附上一个特殊字符''（end of sequence）表示序列的终止。在测试模型时，一旦输出''就终止当前的输出序列。

编码器

编码器的作用是把一个不定长的输入序列转化成一个定长的背景向量cc。该背景向量包含了输入序列的信息。常用的编码器是循环神经网络。

我们回顾一下循环神经网络知识。假设循环神经网络单元为ff，在tt时刻的输入为xt,t=1,…,Txt,t=1,…,T。 假设xtxt是单个输出xtxt在嵌入层的结果，例如xtxt对应的one-hot向量o∈ℝxo∈Rx与嵌入层参数矩阵E∈ℝx×hE∈Rx×h的乘积o⊤Eo⊤E。隐含层变量

 

ht=f(xt,ht−1)ht=f(xt,ht−1)

编码器的背景向量

 

c=q(h1,…,hT)c=q(h1,…,hT)

一个简单的背景向量是该网络最终时刻的隐含层变量hThT。 我们将这里的循环神经网络叫做编码器。

双向循环神经网络

编码器的输入既可以是正向传递，也可以是反向传递。如果输入序列是x1,x2,…,xTx1,x2,…,xT，在正向传递中，隐含层变量

 

h→t=f(xt,h→t−1)h→t=f(xt,h→t−1)

而反向传递中，隐含层变量的计算变为

 

h←t=f(xt,h←t+1)h←t=f(xt,h←t+1)

当我们希望编码器的输入既包含正向传递信息又包含反向传递信息时，我们可以使用双向循环神经网络。例如，给定输入序列x1,x2,…,xTx1,x2,…,xT，按正向传递，它们在循环神经网络的隐含层变量分别是h→1,h→2,…,h→Th→1,h→2,…,h→T；按反向传递，它们在循环神经网络的隐含层变量分别是h←1,h←2,…,h←Th←1,h←2,…,h←T。在双向循环神经网络中，时刻ii的隐含层变量可以把h→ih→i和h←ih←i连结起来。

In [1]:
# 连结两个向量
from mxnet import nd
h_forward = nd.array([1, 2])
h_backward = nd.array([3, 4])
h_bi = nd.concat(h_forward, h_backward, dim=0)
h_bi

Out[1]:

[ 1.  2.  3.  4.]

 

解码器

编码器最终输出了一个背景向量cc，该背景向量编码了输入序列x1,x2,…,xTx1,x2,…,xT的信息。

假设训练数据中的输出序列是y1,y2,…,yT′y1,y2,…,yT′，我们希望表示每个tt时刻输出的既取决于之前的输出又取决于背景向量。之后，我们就可以最大化输出序列的联合概率

 

ℙ(y1,…,yT′)=∏t′=1T′ℙ(yt′∣y1,…,yt′−1,c)P(y1,…,yT′)=∏t′=1T′P(yt′∣y1,…,yt′−1,c)

并得到该输出序列的损失函数

 

−logℙ(y1,…,yT′)−log⁡P(y1,…,yT′)

为此，我们使用另一个循环神经网络作为解码器。解码器使用函数pp来表示单个输出yt′yt′的概率

 

ℙ(yt′∣y1,…,yt′−1,c)=p(yt′−1,st′,c)P(yt′∣y1,…,yt′−1,c)=p(yt′−1,st′,c)

其中的stst为t′t′时刻的解码器的隐含层变量。该隐含层变量

 

st′=g(yt′−1,c,st′−1)st′=g(yt′−1,c,st′−1)

其中函数gg是循环神经网络单元。

需要注意的是，编码器和解码器通常会使用多层循环神经网络。

注意力机制

在以上的解码器设计中，各个时刻使用了相同的背景向量。如果解码器的不同时刻可以使用不同的背景向量呢？

以英语-法语翻译为例，给定一对输入序列“they are watching”和输出序列“Ils regardent”，解码器在时刻1可以使用更多编码了“they are”信息的背景向量来生成“Ils”，而在时刻2可以使用更多编码了“watching”信息的背景向量来生成“regardent”。这看上去就像是在解码器的每一时刻对输入序列中不同时刻分配不同的注意力。这也是注意力机制的由来。它最早由Bahanau等在2015年提出。

现在，对上面的解码器稍作修改。我们假设时刻t′t′的背景向量为ct′ct′。那么解码器在t′t′时刻的隐含层变量

 

st′=g(yt′−1,ct′,st′−1)st′=g(yt′−1,ct′,st′−1)

令编码器在tt时刻的隐含变量为htht，解码器在t′t′时刻的背景向量为

 

ct′=∑t=1Tαt′thtct′=∑t=1Tαt′tht

也就是说，给定解码器的当前时刻t′t′，我们需要对编码器中不同时刻tt的隐含层变量求加权平均。而权值也称注意力权重。它的计算公式是

 

αt′t=exp(et′t)∑Tk=1exp(et′k)αt′t=exp⁡(et′t)∑k=1Texp⁡(et′k)

而et′t∈ℝet′t∈R的计算为：

 

et′t=a(st′−1,ht)et′t=a(st′−1,ht)

其中函数aa有多种设计方法。在Bahanau的论文中，

 

et′t=v⊤tanh(Wsst′−1+Whht)et′t=v⊤tanh⁡(Wsst′−1+Whht)

其中的vv、WsWs、WhWh和编码器与解码器两个循环神经网络中的各个权重和偏移项以及嵌入层参数等都是需要同时学习的模型参数。在Bahanau的论文中，编码器和解码器分别使用了门控循环单元（GRU）。

在解码器中，我们需要对GRU的设计稍作修改。 假设ytyt是单个输出ytyt在嵌入层的结果，例如ytyt对应的one-hot向量o∈ℝyo∈Ry与嵌入层参数矩阵B∈ℝy×sB∈Ry×s的乘积o⊤Bo⊤B。 假设时刻t′t′的背景向量为ct′ct′。那么解码器在t′t′时刻的单个隐含层变量

 

st′=zt′⊙st′−1+(1−zt′)⊙s̃ t′st′=zt′⊙st′−1+(1−zt′)⊙s~t′

其中的重置门、更新门和候选隐含状态分别为

 

rt′=σ(Wyryt′−1+Wsrst′−1+Wcrct′+br)rt′=σ(Wyryt′−1+Wsrst′−1+Wcrct′+br)

 

zt′=σ(Wyzyt′−1+Wszst′−1+Wczct′+bz)zt′=σ(Wyzyt′−1+Wszst′−1+Wczct′+bz)

 

s̃ t′=tanh(Wysyt′−1+Wss(st′−1⊙rt′)+Wcsct′+bs)s~t′=tanh(Wysyt′−1+Wss(st′−1⊙rt′)+Wcsct′+bs)

结论

• 编码器-解码器（seq2seq）的输入和输出可以都是不定长序列。
• 在解码器上应用注意力机制可以在解码器的每个时刻使用不同的背景向量。每个背景向量相当于对输入序列的不同部分分配了不同的注意力

参考文章：

http://zh.d2l.ai/chapter_natural-language-processing/seq2seq.html