极简说明 RNN LSTM GRU 结构和公式

RNN

极简说明 RNN LSTM GRU 结构和公式_第1张图片

 极简说明 RNN LSTM GRU 结构和公式_第2张图片

 u,v,w是为了展示所乘的矩阵不同,ht激活使用tanh

极简说明 RNN LSTM GRU 结构和公式_第3张图片

 LSTM

极简说明 RNN LSTM GRU 结构和公式_第4张图片

 极简说明 RNN LSTM GRU 结构和公式_第5张图片

 ft、it、ot 激活使用 sigmoid   ct激活使用tanh

GRU

GRU是LSTM的简单版本,合并内部自循环Cell与隐藏层hidden,合并遗忘门、输入门为更新门z,新增重置门r,删除输出门

极简说明 RNN LSTM GRU 结构和公式_第6张图片极简说明 RNN LSTM GRU 结构和公式_第7张图片

 zt、rt激活使用 sigmoid   h~激活使用tanh

你可能感兴趣的:(rnn,lstm,gru)