LSTM-基本原理-前向传播与反向传播过程推导

前言

最近在实践中用到LSTM模型，一直在查找相关资料，推导其前向传播、反向传播过程。
LSTM有很多变体，查到的资料的描述也略有差别，且有一些地方让我觉得有些困惑。目前查到的资料中我认为这个国外大神的博客写的比较清晰：
http://arunmallya.github.io/writeups/nn/lstm/index.html#/
这个博客中的有些步骤有一定跳跃性，本文中的描述主要基于这篇博客中的实现过程进行更细致的推导，在此分享。本人能力有限，如果有不妥当之处，欢迎大家交流、指正。

LSTM算法介绍

长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。
本人在应用方面也还没有太多涉猎，建议大家先看一下下面这篇经典博客：
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
不想看英文的可以看一下中文版：
https://blog.csdn.net/roslei/article/details/61912618

基本网络结构&前向传播

先附上LSTM整体结构图：

后面的所有推导都是基于这张图的结构。
LSTM中比较重要的改进是加入了细胞状态 : Ct代表t时刻的细胞状态。
下面具体展开写一下各部分结构：

输入以及门计算部分

上述公式中表示了LSTM的四个基本结构：
输入门、输出门、遗忘门、用于更新细胞状态的部分（图中a^t 部分，这个好像没有专门的名称）
其中x^t 为t时刻的输入，我们设定其大小为： n X 1
注：此处x直接把偏置项涵盖了，即加入了x₀=1
h^t 为t时刻的隐藏状态，我们设定其大小为： d X 1
c^t 为t时刻的细胞状态，设定其大小为： d X 1
注：隐藏状态和细胞状态一般情况下维度一致。
W_*： 维度大小：d X n
U_* ： 维度大小：d X d
注：W_* 与 U_*即为模型的参数矩阵，共八个，也就是说，训练LSTM时训练的就是这八个矩阵。
σ 代表sigmoid函数 ， tanh 代表 tanh函数。
这里的σ和 tanh是按元素操作，以σ为例，σ（X）即对向量X中的每个元素Xi分别计算
σ（Xi），σ（X）与 X 维度相同。
图中 z^t是为了表述方便采用的写法。将参数与输入分别整合为一个矩阵表示。

细胞状态更新部分

上图中公式即为细胞状态更新公式:
c^t=i^t⊙a^t+f^t⊙c^t-1
其中⊙表示按元素乘（两矩阵维度一致，相同位置元素相乘，结果矩阵维度不变）。

输出部分

根据如下公式：
h^t=o^t⊙tanh(c^t)
输出t时刻隐藏状态h^t.
至此，LSTM的网络架构，前向传播部分就梳理结束了。

反向传播：梯度计算

为了理解反向传播过程，先看一下前向传播过程按时间将网络结构展开的效果图：

可以看到，t时刻的细胞状态c^t对当前时刻隐藏状态h^t和下一时刻的细胞状态c^t+1都有贡献。所以计算c^t位置的梯度时，需要考虑来自这两部分的梯度（全导数法则）。
注：此处默认的是多输入-多输出的情况，即每一时刻的隐藏状态h^t均参与损失函数计算。
对应反向传播示意图如下图：

反向传播的终极目标是为了计算梯度,更新参数，所以
要计算损失函数对W_* 与 U_*的偏导数。
下面一步步推导：

不考虑损失函数的形式，这里我们泛化地设定：

然后将误差逐层反向传播。
注意：上图中的δc^t的等式右端其实只是来自h^t部分的梯度，下文计算来自c^t+1的梯度，二者相加才是真正的δc^t。
上图中以及后文会用到以下函数的导数计算公式：

注意，根据上图中的
δc^t-1=δc^t⊙f^t
我们可以得到：
δc^t=δc^t+1⊙f^t+1
其实这部分只是来自c^t+1的梯度。
综合前两张图中关于δc^t的计算可得：
δc^t=δh^t⊙o^t⊙(1-tanh²(c^t))+δc^t+1⊙f^t+1
好，下面我们继续反向传播：

这里的写法稍微有些跳跃，其实不同的W_* 与 U_*的偏导数计算类似，所以原博客作者把他们整合在了一个表达式中。
这里以W_c为例具体算一下：

类似地可以计算其他参数矩阵的梯度，
最终写成图中的整合矩阵形式：
δW^t =δz^t X （I^t）^T
至此，我们求出了在t时刻，损失函数相对于各参数的梯度。

最终，根据上式累加不同时刻的梯度，进行参数更新。

小结

以上就是LSTM基本的网络结构，以及前向、反向传播过程。由于时间和水平有限，文中可能有不妥当之处，欢迎大家批评指正，后续会不断修改。