LSTM网络结构和Bi-LSTM网络结构对比

RNN通常被用于具有时间依赖性的连续时间序列应用场景，其有能力通过使用以前的数据模式来对当前的数据处理产生影响。同时，RNN有一个训练长期依赖性数据的问题，这是由RNN的变体LSTM解决的。由Hochreiter和Schmidhuber提出的LSTM被用作RNN网络的辅助版本，并通过使用被称为存储单元的隐藏层单元克服了RNN的限制。记忆单元具有自我连接，可以存储网络的时间状态，并通过三个门进行控制，即：输入门、输出门和遗忘门。输入门和输出门的工作是用来控制记忆单元的输入和输出流向网络的其他部分。此外，遗忘门也被添加到记忆单元中，它将具有高权重的输出信息从上一个神经元传递给下一个神经元。保存在存储器中的信息取决于高激活的结果。如果输入单元有高激活，信息就会保存在存储器单元中。此外，如果输出单元具有高激活度，那么它将把信息传递给下一个神经元，否则，具有高权重的输入信息就会驻留在记忆单元中。本文将LSTM网络与DSIR模型结合形成LSTM-DSIR网络结构，是本文所研究的主要预测方法。

4.2.2.2 Bi-LSTM网络结构

LSTM单元具有局限性，它能够在以前的内容上工作，但不能使用未来的数据的预测。为了克服LSTM单元的局限性，Schuster和Paliwal提出了Bi-LSTM，它由两个不同的LSTM隐藏层组成，输出方向相反。在这种结构下，先前和未来的信息在输出层均可以被利用。Bi-LSTM具有着LSTM没有的优势，因此本文所阐述实验同样包括了Bi-LSTM和LSTM网络的模型性能对比。