序列模型RNN、LSTM、GRU通俗理解（全网之最很通俗）

带时间序列的任务场景

标准神经网络建模的弊端

一、RNN

1.1 结构

1.2 特点

1.3 前向传播

1.4 损失函数

1.5 反向传播

详细推导过程参考：
https://zhuanlan.zhihu.com/p/82397536
https://www.cnblogs.com/pinard/p/6509630.html

1.6 缺点

二、LSTM

2.1 思路

2.22 结构

2.23 对比RNN

2.3 单元结构

2.4 前向传播

2.5 记忆细胞

2.6 举例理解

2.71 遗忘门

2.72 更新门

2.73 输出门

2.8 LSTM缓解梯度消失的原因

具体反向传播推导：
https://blog.csdn.net/zhaojc1995/article/details/114649486
https://www.bilibili.com/video/BV1qM4y1M7Nv?p=5

https://www.zhihu.com/question/44895610/answer/187174142

2.9 缺点

• RNN的梯度问题在LSTM及其变种里面得到了一定程度的解决，但是还不够。它可以处理100个量级的序列，而对于1000个量级，或者更长的序列则依然会显得很棘手。
• 计算费时，每一个LSTM的细胞里就意味着有4个全连接层，如果LSTM时间跨度很大，并且网络很深，计算量很大，参数会很多。

三、GRU

3.1 单元结构

3.2 对比LSTM

3.3 举例理解

3.4 与LSTM区别

• 事实上，这两种模型在许多任务中都不相上下，因此，与挑选出一个理想的架构相比，调整层数这些超参数等更重要。
• GRU的参数较少，所以训练速度快，或需要归纳的数据更少。相对应的，如果有足够的训练数据，表达能力更强的LSTM或许效果更佳。
• 相较于LSTM，GRU能降低过拟合风险。

3.5 GRU缓解梯度消失的原因

详细原因参考：
https://zhuanlan.zhihu.com/p/149819433