LSTM（Long Short-Term Memory）

长短期记忆（long short-term memory，LSTM），LSTM 中引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态），从而记录额外的信息。

1）输入门、遗忘门和输出门

2）候选记忆细胞

 

3）记忆细胞

通过元素值域在[0,1]的输入门、遗忘门和输出门来控制隐藏状态中信息的流动，这一般也是通过使用按元素乘法（符号为⊙）来实现的。

4）隐藏状态

小结：

①长短期记忆的隐藏层输出包括隐藏状态和记忆细胞。只有隐藏状态会传递到输出层。

②长短期记忆的输入门、遗忘门和输出门可以控制信息的流动。

③长短期记忆可以应对循环神经网络中的梯度衰减问题，并更好地捕捉时间序列中时间步距离较大的依赖关系。