循环神经网络

B站学习视频

1、RNN

• 带时间序列的任务场景（语言识别、生成音乐、情感分析、DNA序列分析、机器翻译）

前后关联强，“前因后果”

• 标准神经网络建模的弊端
  1、输入和输出数据在不同例子中可能有不同的长度
  2、一个像这样单纯的神经网络结构，它并不共享从文本的不同位置上学到的特征
  

3、参数量巨大

4、没有办法体现时序上的“前因后果”

标准神经网络建模不适合带时间序列的任务场景。

• RNN循环神经网络
  1、网络结构
  
  单元
  
  2、特点
  
  3、前向传播

4、损失函数

整个序列的损失函数即将所有时间步的算是函数相加求和。
5、反向传播

• RNN的缺点

W0：

Wx：

任意时刻下的梯度公式：

Ws^(k-1)是导致可能梯度爆炸和梯度消失的主要原因。

2、LSTM

2.1 设计思路

2.2 前向传播过程

2.3 结合例子理解LSTM

（1）记忆细胞

2.4 RNN梯度消失回顾（公式推导）

2.5 LSTM如何缓解梯度消失（公式推导）

3、GRU

3.1 结构

3.2 对比LSTM

3.3 举例理解

3.4 与LSTM区别

3.5 缓解梯度消失

门的设计可自由选择哪些部分记忆，哪些部分不记忆，连乘消除梯度消失，