LSTM基础

LSTM

视频讲得非常好

https://www.bilibili.com/video/BV1644y1W7sD/?spm_id_from=333.788&vd_source=3b42b36e44d271f58e90f86679d77db7

门的概念

过去,不过去,过去一部分
点乘,0
LSTM基础_第1张图片
concatenation,pointwise
LSTM基础_第2张图片

LSTM

LSTM基础_第3张图片

RNN

上一时刻的输出+这一时刻的输入
LSTM基础_第4张图片

LSTM基础_第5张图片

LSTM基础_第6张图片

LSTM基础_第7张图片

细胞状态长期记忆,隐藏状态短期记忆

LSTM基础_第8张图片

LSTM基础_第9张图片

LSTM基础_第10张图片

Ct—候选值
LSTM基础_第11张图片

LSTM基础_第12张图片

LSTM基础_第13张图片
tensor of shape
(N,L,H)
N—batch_size
L—sequence_len
H—输入的维度

LSTM基础_第14张图片
LSTM基础_第15张图片
实现
LSTM基础_第16张图片

RMSE
均方根误差

你可能感兴趣的:(Pytorch,NLP,深度学习方法智能合约漏洞检测,lstm,人工智能,rnn)