长短时记忆网络(LSTM)的训练

长短时记忆网络的训练

熟悉我们这个系列文章的同学都清楚，训练部分往往比前向计算部分复杂多了。LSTM的前向计算都这么复杂，那么，可想而知，它的训练算法一定是非常非常复杂的。现在只有做几次深呼吸，再一头扎进公式海洋吧。

LSTM训练算法框架

LSTM的训练算法仍然是反向传播算法，对于这个算法，我们已经非常熟悉了。主要有下面三个步骤：

1. 前向计算每个神经元的输出值，对于LSTM来说，即 ft 、 it 、 ct 、 ot 、 ht 五个向量的值。计算方法已经在上一节中描述过了。
2. 反向计算每个神经元的误差项 δ 值。与循环神经网络一样，LSTM误差项的反向传播也是包括两个方向：一个是沿时间的反向传播，即从当前t时刻开始，计算每个时刻的误差项；一个是将误差项向上一层传播。
3. 根据相应的误差项，计算每个权重的梯度。

关于公式和符号的说明

首先，我们对推导中用到的一些公式、符号做一下必要的说明。

接下来的推导中，我们设定gate的激活函数为sigmoid函数，输出的激活函数为tanh函数。他们的导数分别为：

σ(z)σ′(z)tanh(z)tanh′(z)=y=11+e−z=y(1−y)=y=ez−e−zez+e−z=1−y2(8)(9)(10)(11)

从上面可以看出，sigmoid和tanh函数的导数都是原函数的函数。这样，我们一旦计算原函数的值，就可以用它来计算出导数的值。

LSTM需要学习的参数共有8组，分别是：遗忘门的权重矩阵 Wf 和偏置项 bf 、输入门的权重矩阵 Wi 和偏置项 bi 、输出门的权重矩阵 Wo 和偏置项 bo ，以及计算单元状态的权重矩阵 Wc 和偏置项 bc 。因为权重矩阵的两部分在反向传播中使用不同的公式，因此在后续的推导中，权重矩阵 Wf 、 Wi 、 Wc 、 Wo 都将被写为分开的两个矩阵： Wfh 、 Wfx 、 Wih 、 Wix 、 Woh 、 Wox 、 Wch 、 Wcx 。

我们解释一下按元素乘 ∘ 符号。当 ∘ 作用于两个向量时，运算如下：

a∘b=⎡⎣⎢⎢⎢⎢a1a2a3...an⎤⎦⎥⎥⎥⎥∘⎡⎣⎢⎢⎢⎢⎢b1b2b3...bn⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢a1b1a2b2a3b3...anbn⎤⎦⎥⎥⎥⎥⎥

当 ∘ 作用于一个向量和一个矩阵时，运算如下：

a∘X=⎡⎣⎢⎢⎢⎢a1a2a3...an⎤⎦⎥⎥⎥⎥∘⎡⎣⎢⎢⎢⎢x11x21x31xn1x12x22x32xn2x13x23x33...xn3............x1nx2nx3nxnn⎤⎦⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢a1x11a2x21a3x31anxn1a1x12a2x22a3x32anxn2a1x13a2x23a3x33...anxn3............a1x1na2x2na3x3nanxnn⎤⎦⎥⎥⎥⎥(12)(13)

当 ∘ 作用于两个矩阵时，两个矩阵对应位置的元素相乘。按元素乘可以在某些情况下简化矩阵和向量运算。例如，当一个对角矩阵右乘一个矩阵时，相当于用对角矩阵的对角线组成的向量按元素乘那个矩阵：

diag[a]X=a∘X

当一个行向量右乘一个对角矩阵时，相当于这个行向量按元素乘那个矩阵对角线组成的向量：

aTdiag[b]=a∘b

上面这两点，在我们后续推导中会多次用到。

在t时刻，LSTM的输出值为 ht 。我们定义t时刻的误差项 δt 为：

δt=def∂E∂ht

注意，和前面几篇文章不同，我们这里假设误差项是损失函数对输出值的导数，而不是对加权输入 netlt 的导数。因为LSTM有四个加权输入，分别对应 ft 、 it 、 ct 、 ot ，我们希望往上一层传递一个误差项而不是四个。但我们仍然需要定义出这四个加权输入，以及他们对应的误差项。

netf,tneti,tnetc~,tneto,tδf,tδi,tδc~,tδo,t=Wf[ht−1,xt]+bf=Wfhht−1+Wfxxt+bf=Wi[ht−1,xt]+bi=Wihht−1+Wixxt+bi=Wc[ht−1,xt]+bc=Wchht−1+Wcxxt+bc=Wo[ht−1,xt]+bo=Wohht−1+Woxxt+bo=def∂E∂netf,t=def∂E∂neti,t=def∂E∂netc~,t=def∂E∂neto,t(14)(15)(16)(17)(18)(19)(20)(21)(22)(23)(24)(25)

误差项沿时间的反向传递

沿时间反向传递误差项，就是要计算出t-1时刻的误差项 δt−1 。

δTt−1=∂E∂ht−1=∂E∂ht∂ht∂ht−1=δTt∂ht∂ht−1(26)(27)(28)

我们知道， ∂ht∂ht−1 是一个Jacobian矩阵。如果隐藏层h的维度是N的话，那么它就是一个 N×N 矩阵。为了求出它，我们列出 ht 的计算公式，即前面的式6和式4：

htct=ot∘tanh(ct)=ft∘ct−1+it∘c~t(29)(30)

显然， ot 、 ft 、 it 、 c~t 都是 ht−1 的函数，那么，利用全导数公式可得：

δTt∂ht∂ht−1=δTt∂ht∂ot∂ot∂neto,t∂neto,t∂ht−1+δTt∂ht∂ct∂ct∂ft∂ft∂netf,t∂netf,t∂ht−1+δTt∂ht∂ct∂ct∂it∂it∂neti,t∂neti,t∂ht−1+δTt∂ht∂ct∂ct∂c~t∂c~t∂netc~,t∂netc~,t∂ht−1=δTo,t∂neto,t∂ht−1+δTf,t∂netf,t∂ht−1+δTi,t∂neti,t∂ht−1+δTc~,t∂netc~,t∂ht−1(式7)(31)(32)

下面，我们要把式7中的每个偏导数都求出来。根据式6，我们可以求出：

∂ht∂ot∂ht∂ct=diag[tanh(ct)]=diag[ot∘(1−tanh(ct)2)](33)(34)

根据式4，我们可以求出：

∂ct∂ft∂ct∂it∂ct∂c~t=diag[ct−1]=d