Pytorch学习笔记6——时间序列RNN

Pytorch学习笔记6——时间序列

Pytorch学习笔记6——时间序列RNN_第1张图片
Pytorch学习笔记6——时间序列RNN_第2张图片
Pytorch学习笔记6——时间序列RNN_第3张图片
判断态度的二分类问题:
Pytorch学习笔记6——时间序列RNN_第4张图片对于长句子不适合,因此需要权值共享:
对于某一层:
Pytorch学习笔记6——时间序列RNN_第5张图片
上一步输出作为下一步输入,存储语境信息:
Pytorch学习笔记6——时间序列RNN_第6张图片
自我更新语境信息ht
Pytorch学习笔记6——时间序列RNN_第7张图片
Pytorch学习笔记6——时间序列RNN_第8张图片
Pytorch学习笔记6——时间序列RNN_第9张图片
Pytorch学习笔记6——时间序列RNN_第10张图片
Pytorch学习笔记6——时间序列RNN_第11张图片
Pytorch学习笔记6——时间序列RNN_第12张图片
Pytorch学习笔记6——时间序列RNN_第13张图片
Pytorch学习笔记6——时间序列RNN_第14张图片
Pytorch学习笔记6——时间序列RNN_第15张图片
ht是最后一次送入得到的memory语境信息。【1,3,10】
out是所有h的聚合信息。【5,3,10】

单层RNN实现
Pytorch学习笔记6——时间序列RNN_第16张图片
Pytorch学习笔记6——时间序列RNN_第17张图片
Pytorch学习笔记6——时间序列RNN_第18张图片
Pytorch学习笔记6——时间序列RNN_第19张图片
Pytorch学习笔记6——时间序列RNN_第20张图片
Pytorch学习笔记6——时间序列RNN_第21张图片
Pytorch学习笔记6——时间序列RNN_第22张图片

时间序列预测(波形预测)

Pytorch学习笔记6——时间序列RNN_第23张图片
Pytorch学习笔记6——时间序列RNN_第24张图片
Pytorch学习笔记6——时间序列RNN_第25张图片
Pytorch学习笔记6——时间序列RNN_第26张图片

RNN的梯度弥散与梯度爆炸

Pytorch学习笔记6——时间序列RNN_第27张图片
Pytorch学习笔记6——时间序列RNN_第28张图片gradient clipping 方法解决梯度爆炸
使用Pytorch学习笔记6——时间序列RNN_第29张图片
Pytorch学习笔记6——时间序列RNN_第30张图片
LSTM可以很好解决RNN梯度弥散情况。
RNN是短期记忆网络
Pytorch学习笔记6——时间序列RNN_第31张图片
在这里插入图片描述
利用sigmoid函数实现门

Pytorch学习笔记6——时间序列RNN_第32张图片
1.forget gate:忘记无关的之前的状态
Pytorch学习笔记6——时间序列RNN_第33张图片
2. input gate and Cell State:有选择性的更新cell的状态
Pytorch学习笔记6——时间序列RNN_第34张图片
获得两个门后,将忘记门信息施加在原来信息上,将输入门施加在现在信息上
Pytorch学习笔记6——时间序列RNN_第35张图片
3.输出门。输出结果是ht
Pytorch学习笔记6——时间序列RNN_第36张图片
Pytorch学习笔记6——时间序列RNN_第37张图片
Pytorch学习笔记6——时间序列RNN_第38张图片
Pytorch学习笔记6——时间序列RNN_第39张图片
如何解决梯度离散?
Pytorch学习笔记6——时间序列RNN_第40张图片

pytorch实现LSTM

nn.LSTM
Pytorch学习笔记6——时间序列RNN_第41张图片
Pytorch学习笔记6——时间序列RNN_第42张图片
3个句子,每个句子10个单词,每个单词编码100
Pytorch学习笔记6——时间序列RNN_第43张图片
Pytorch学习笔记6——时间序列RNN_第44张图片
Pytorch学习笔记6——时间序列RNN_第45张图片
Pytorch学习笔记6——时间序列RNN_第46张图片
Pytorch学习笔记6——时间序列RNN_第47张图片

情感分类实战

Pytorch学习笔记6——时间序列RNN_第48张图片
Pytorch学习笔记6——时间序列RNN_第49张图片
Pytorch学习笔记6——时间序列RNN_第50张图片
Pytorch学习笔记6——时间序列RNN_第51张图片
Pytorch学习笔记6——时间序列RNN_第52张图片
Pytorch学习笔记6——时间序列RNN_第53张图片
Pytorch学习笔记6——时间序列RNN_第54张图片

你可能感兴趣的:(pytorch,学习,rnn,lstm)