RNN循环神经网络

解决问题

1.变长输入
2.输入之间有一定关系的

输入和输出之间的关系：
1对多:图像的文本描述
多对1:文字的情感分析
多对多：句子的翻译

网络结构

Elman Netword
$$\begin{array}{rl}{h}_t& =\sigma (W_h{x}_t+U_h{h}_{t-1}+b_h)\\ y_t& =\sigma (W_y{h}_t+b_y)\end{array}$$
Jardon Netword
$$\begin{array}{rl}{h}_t& =\sigma (W_h{x}_t+U_h{h}_{t-1}+b_h)\\ y_t& =\sigma (W_y{h}_t+b_y)\end{array}$$

RNN的变形

LSTM

$$\begin{array}{rl}{f}_t& :遗忘门，之前的信息需要多少被遗忘\\ i_t& :输入门：x_t有多少信息需要记住\\ {\overline{c}}_t& :\\ o_t& :输出门：c_t多少信息需要输出\\ c_t& :\\ y_t& :输出\end{array}$$
$$\begin{array}{rl}{f}_t& =\sigma (W_f[x_t,h_{t-1}]+b_f)\\ i_t& =\sigma (W_i[x_t,h_{t-1}]+b_i)\\ {\overline{c}}_t& =tanh(W_c[x_t,h_{t-1}]+b_c)\\ c_t& =f_t{c}_{t-1}+i_t{\overline{c}}_t\\ o_t& =\sigma (W_o[x_t,h_{t-1}]+b_o)\\ h_t& =o_{t}tanh(c_t)\end{array}$$