基于LSTM实现股票预测

LSTM原理

前面的博客中使用传统的循环神经网络RNN，可以通过记忆体实现短期记忆进行连续数据的预测，但是当连续数据的序列变长时，会使展开时间步过长，在反向传播更新参数时，梯度要按照时间步连续相乘，会导致梯度消失，所以在1997年Hochreitere等人提出了长短记忆网络LSTM，长短记忆网络中引入了三个门限：

他们的作用如下：

        首先他们三个都是当前时刻的输入特征xt，和上个时刻的短期记忆ht-1的函数，这三个公式中wi、wf和wo是待训练参数矩阵。bi、bf和bo是待训练偏置项。他们都经过sigmoid激活函数，使门限的范围在0-1之间。 细胞态表示长期记忆，细胞态等于上个时刻的长期记忆乘以遗忘门加上当前时刻归纳出的新知识乘以输入门。记忆体表示短期记忆，属于长期记忆的一部分，是细胞态过tanh激活函数乘以输出门的结果，候选态表示归纳出的待存入细胞态的新知识，是当前时刻的输入特征xt，和上个时刻的短期记忆ht-1的函数，wc是待训练参数矩阵bc是待训练偏置项。作为第二层输出网络，接收到的数据是长期记忆过tanh激活函数，乘以输出门提取出的短期记忆ht。

TF中LSTM的描述

        TF中提供了LSTM的函数，如下所示：