李宏毅机器学习课程-RNN与LSTM0303

 B站 李宏毅2021春机器学习课程 P36 P37

目录

1、RNN

2、RNN类型

3、LSTM

4、RNN不好训练的原因​

5、LSTM能解决gradient vanishing梯度消失

6、CTC

---

1、RNN

 

 

2、RNN类型

 

3、LSTM

长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。

 

 

 

 

 

4、RNN不好训练的原因

weight变化

5、LSTM能解决gradient vanishing梯度消失

 

6、CTC