Long Short Term Memory (LSTM)

接上一篇博客Simple RNN Model

Long Short Term Memory (LSTM)

Reference
• Hochreiter and Schmidhuber. Long short-term memory. Neural computation, 1997.
其实LSTM就是在simple RNN上修改的

simple-RNN：一个参数矩阵
LSTM：4个参数矩阵

Conveyor Belt传送带

（上图的C_t-1->C_t）: 过去的信息直接流向未来。

遗忘门Forget gate (f)

Forget gate (f):一个矢量(与 c 和 h 的形状相同)。由σ和X组成。
σ：作用在向量a每个元素上，把每个元素压到0~1之间。
X：就是对应元素相乘

X的作用（对应元素相乘）eg：

W_f：模型学习来的，需要通过反向传播，从训练中学习。
f_t遗忘门的计算：由上一次的状态h_t-1和当前词向量X_t做连接，再与W_f相乘，最后由σ函数，把所有元素压到0~1之间。（一定要看懂这句话，理解，因为下面其他参数矩阵的计算也是类似的，只不过输入不一样！）

输入门Input gate (i )

: 依赖于旧的状态h_t-1和新的输入X_t。
i_t的计算类似于遗忘门。

~ Ct

~ C_t的计算是把激活函数σ换成了tanh（双曲正切函数），得到的数值在-1~1之间。

更新传输带C_t:由上述得到的f_t,C_t-1,i_t,~ C_t 如图做乘积再相加得到新的传送带C_t
如果f_t 中有0，则C_t-1就会被选择性遗忘。而i_t与~ C_t相乘再加上去等于添加了新的信息。

Output gate Ot

Output gate O_t输出门的计算如下图：
h_t则是有由O_t和C_t决定的，是LSTM的输出：先将C_t压到 -1 ~ 1之间，再对应元素相乘得到h_t

核心：（现在应该能看懂这张图了吧）

所以，一共有4个参数矩阵，每个参数矩阵的行数是shape(h)，列数是shape(h)+shape(x)

相关代码解读