2022最新版-李宏毅机器学习深度学习课程-P26RNN-2

 一、RNN网络结构

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第1张图片

与时间有关的反向传播(每次不同) 

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第2张图片

损失函数

实验其实不容易跑,因为他的损失函数曲线幅度很大

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第3张图片

画出来差不多是这个样子。突然一下升高是因为从右到左碰到陡峭的地方梯度一下变大了,所以弹回去了。

原作者在训练时加上了小技巧——clipping:设置一个峰值,若超过则等于该峰值。

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第4张图片

梯度大的原因:

  • 当W>1时,微小的变化会引起很大的变化;
  • 当w<1时,较大的变化带来的变化也很小。

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第5张图片

RNN一些有用的变形

LSTM以及简化为双门的GRU

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第6张图片

Clockwise RNN && SCRN

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第7张图片

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第8张图片

多对一

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第9张图片

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第10张图片

多长对多短

这里是最后删去重复的字符

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第11张图片

改加上null符号后,可以实现一些叠词

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第12张图片

CTC方法

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第13张图片

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第14张图片

多对多(无限制)

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第15张图片

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第16张图片

加上一个断的符号,可以及时终止

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第17张图片

可以用在机器学习上

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第18张图片

语法分析

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第19张图片

自动编码器

可以提高传输效率和节约成本

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第20张图片

2022最新版-李宏毅机器学习深度学习课程-P26RNN-2_第21张图片

你可能感兴趣的:(李宏毅机器学习深度学习,机器学习,深度学习,人工智能)