LSTM缓解梯度消失的原因

LSTM缓解梯度消失的原因

本文主要是对LSTM缓解梯度消失的原因，从公式上进行推导理解。

对于LSTM的结构如下：

$c_t=c_{t-1}\otimes \sigma \left(W_f\cdot \left[H_{t-1},X_t\right]\right)\oplus \tanh \left(W_c\cdot \left[H_{t-1},X_t\right]\right)\otimes \sigma \left(W_i\cdot \left[H_{t-1},X_t\right]\right)$

反向传播公式：

$\begin{array}{rl}\frac{\partial E_k}{\partial W}=& \frac{\partial E_k}{\partial H_k}\frac{\partial H_k}{\partial C_k}\frac{\partial C_k}{\partial C_{k-1}}\dots \frac{\partial C_2}{\partial C_1}\frac{\partial C_1}{\partial W}=\\ & \frac{\partial E_k}{\partial H_k}\frac{\partial H_k}{\partial C_k}\left(\prod _{t=2}^k\frac{\partial C_t}{\partial C_{t-1}}\right)\frac{\partial C_1}{\partial W}\end{array}$

括号中的部分是累乘项：

$\frac{\partial c_t}{\partial c_{t-1}}=\sigma \left(W_f\cdot \left[H_{t-1},X_t\right]\right)+\frac{d}{d{\mathcal{C}}_{t-1}}\left(\tanh \left(W_c\cdot \left[H_{t-1},X_t\right]\right)\otimes \sigma \left(W_i\cdot \left[H_{t-1},X_t\right]\right)\right)$

也就是说，这里的累乘单元是两项和形式，其中前部分是遗忘门的值。遗忘门决定了上一个细胞状态的保留比例，其取值可以接近于1，也就是说可以把遗忘门看成：$\sigma \left(W_f\cdot \left[H_{t-1},X_t\right]\right)\approx 1$，所以LSTM中：

$\frac{\partial E_k}{\partial W}\approx \frac{\partial E_k}{\partial H_k}\frac{\partial H_k}{\partial c_k}\left({\Pi }_{t=2}^k\sigma \left(W_f\cdot \left[H_{t-1},X_t\right]\right)\right)\frac{\partial C_1}{\partial w}\nrightarrow 0$

所以，LSTM能缓解梯度消失。