RNN/LSTM/GRU/seq2seq公式推导

　　概括：RNN 适用于处理序列数据用于预测，但却受到短时记忆的制约。LSTM 和 GRU 采用门结构来克服短时记忆的影响。门结构可以调节流经序列链的信息流。LSTM 和 GRU 被广泛地应用到语音识别、语音合成和自然语言处理等。

1. RNN

　　RNN 会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果你正在尝试处理一段文本进行预测，RNN 可能从一开始就会遗漏重要信息。在反向传播期间，RNN 会面临梯度消失的问题。 梯度是用于更新神经网络的权重值，消失的梯度问题是当梯度随着时间的推移传播时梯度下降，如果梯度值变得非常小，就不会继续学习。

 

（1）图中的 U W V三种权重参数是共享的；

（2）S_t = f(U*Xt + W*St-1)，此处没有写b，有的地方还需要加一个b，f函数一般为tanh；

（3）Ot = softmax(V*St)

随后就是带入数据，更新权重。但这里有一个问题W与U使用bp更新时会有St-1的输入于是乎就有了BPTT的更新算法

　图：RNN 的工作模式, 第一个词被转换成了机器可读的向量，然后 RNN 逐个处理向量序列。

（1）逐一处理矢量序列 处理时，RNN 将先前隐藏状态传递给序列的下一步。 而隐藏状态充当了神经网络记忆，它包含相关网络之前所见过的数据的信息.
（2）计算隐藏状态 首先，将输入和先前隐藏状态组合成向量， 该向量包含当前输入和先前输入的信息。 向量经过激活函数 tanh之后，输出的是新的隐藏状态或网络记忆.
激活函数 Tanh：激活函数 Tanh 用于帮助调节流经网络的值。 tanh 函数将数值始终限制在 -1 和 1 之间.