1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文

目录

CNN 

RNN 

3种RNN模型 

简单RNN

LSTM (长短期记忆模型)

GRU

参考论文 


CNN 

CNN是卷积神经网络1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第1张图片

 1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第2张图片

提取图片特征1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第3张图片

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第4张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第5张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第6张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第7张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第8张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第9张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第10张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第11张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第12张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第13张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第14张图片

在输出阶段可以使用sigmoid函数返回01值1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第15张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第16张图片

RNN 

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第17张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第18张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第19张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第20张图片

3种RNN模型 

简单RNN

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第21张图片

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第22张图片

 

 

 

 

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第23张图片 H就是每层神经元所产生的一个输出信号,输出层产生的信号经过输出函数转化为最终输出

随着循环次数的增加 

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第24张图片 

 

 

 就是说简单的RNN模型容易导致梯度消失以及梯度爆炸的问题

整体框架类似于数电里的状态机、时序逻辑电路

LSTM (长短期记忆模型)

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第25张图片 

S函数返回0到1,T函数返回-1到1 

 

而T 

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第26张图片 1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第27张图片

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第28张图片

 

当遗忘门值为0时,意味着上期记忆完全遗忘 ;为1时,完全保留

输入们用来更新记忆

 1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第29张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第30张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第31张图片

简单RNN种

 1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第32张图片

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第33张图片 

GRU

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第34张图片

更新门与重置门 

 

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第35张图片1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第36张图片 

1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第37张图片 1.24CNN(基本框架),RNN(简单RNN,LSTM,GRU简要)两个参考论文_第38张图片http://colah.github.io/posts/2015-08-Understanding-LSTMs/
https://arxiv.org/pdf/1412.3555v1.pdf

参考论文 

你可能感兴趣的:(机器学习&神经网络,cnn,深度学习,神经网络)