RNN和LSTM的理解

第一章 绪论

1.1 why RNN?

时间序列数据---自然语言作为前向反馈网络的全连接神经网络和卷积神经网络，不能很好的考虑到时间序列数据之间的序列关系，但是RNN可以！

1.2 what is RNN?

单看一个神经元

全局看

1.3 RNN的局限

RNN神经网络在神经网络参数更新的时候容易出现梯度消失或者梯度爆炸的情况

第二章 LSTM神经网络

2.1 why is LSTM?

1. LSTM神经网络相对RNN神经网络来说有更好的长时间序列的学习能力
2. LSTM神经网络相对RNN只是神经网络单元中多了一些控制门的计算
3. LSTM神经网络的原则是：因记忆能力有限，记住重要的，忘记无关紧要的
4. LSTM拥有三种类型的门结构：遗忘门、输入门和输出门

2.2 what is LSTM?

第三章 总结
从模型的角度来说，RNN神经网络和LSTM神经网络的最大区别就是LSTM神经网络多了几个门单元和一个传送带来控制学习到的时间序列信息的重要性，从而对有用信息进行保留，无用的信息进行去除的目的，同时LSTM神经网络也从一定程度上缓解了RNN神经网络的梯度消失问题。但是RNN神经网络还是基础，从模型的运行角度来说，RNN神经网络和LSTM神经网络的运行是几乎一模一样的，因此必要在学习搞懂RNN神经网络的基础上去学习LSTM神经网络。

参考链接