RNN基本结构--机器学习研究

简述

输入是序列，输出也是序列

且序列等长， 这就是经典的RNN模型

• 对于序列数据，RNN提出了一个隐藏数据H。H为提取出来的特征向量。
• 对于每个序列节点x，都有一个对应的隐藏数据H。
• 每个H都是有X和前一个节点的H生成的。

$$h_i=f(U{x}_i+W{h}_{i-1}+b)$$

• U, W, b 为共享的参数
• f 为激活函数，一般为tanh

目前还没有输出，输出是直接通过H来计算出来的。

$$y_i=Softmax(V{h}_i+c)$$

输入是序列，输出是值

$$h_i=f(U{x}_i+W{h}_{i-1}+b)$$

• U, W, b 为共享的参数
• f 为激活函数，一般为tanh

$$Y=Softmax(V{h}_n+c)$$

• n表示最后一个节点

输入是值，输出是序列

• 为了公式好表达，这里给所有的节点都输入相同的X

$$h_i=f(UX+W{h}_{i-1}+b)$$

• U, W, b 为共享的参数
• f 为激活函数，一般为tanh

目前还没有输出，输出是直接通过H来计算出来的。

$$y_i=Softmax(V{h}_i+c)$$

RNN 改进版 LSTM

LSTM（long short term memory， 长短期记忆网络）

• 经典的RNN 反向传播求梯度时，会将所有的梯度连乘起来，引起梯度爆炸或者是梯度消失。
• LSTM会在中间使用某些部分提出使用加法，而不是直接用乘法，这样就可以在一定程度上避免这个问题了。

除了经典RNN中的隐藏状态H之外，LSTM还提出了新的隐藏状态C。

每次输入的有两个隐藏状态，同时也有两个隐藏状态输出

• 遗忘门

$$f_t=\sigma (W_f\cdot [h_{t-1},x_t]+b_f)$$

• 记忆门

$$i_t=\sigma (W_i\cdot [h_{t-1},x_t]+b_i)$$

$$C_t=tanh(W_C\cdot [h_{t-1},x_t]+b_C)$$

• 用于远程传播的C的更新

$$C_t=f_t\ast C_{t-1}+C_t\ast i_t$$

• 输出门(用于输出H，而H控制输出)

$$o_t=\sigma (W_o\cdot [h_{t-1},x_t]+b_o)$$

$$h_t=o_t\ast tanh(C_t)$$