GRU算法

前置知识:RNN,LSTM

LSTM需要训练的参数很多,极消耗计算资源。GRU是一种LSTM的改进算法,参数更少,更容易训练。

它将忘记门和输入门合并成为一个单一的更新门,同时合并了数据单元状态和隐藏状态,使得模型结构比之于LSTM更为简单。

结构

GRU算法_第1张图片

GRU的整体结构图与RNN没有区别

GRU算法_第2张图片

reset重置门

r_t=\sigma(W_z·[h_{t-1},x_t]+b_r)

rt就是重置门,得到rt后,将rt与上一时刻传入的ht-1进行点乘,得到重置之后的数据,并与xt进行拼接。

h_{t-1}^{'}=h_{t-1}*r_t \\h'=tanh(w*[h_{t-1}',x_t]+b)

h'包含了输入信息xt,经过选择后的上一时刻的信息h't-1,

update更新门

Z_t=\sigma(W_z·[h_{t-1},x_t]+b_z) \\h_t=z_t*h_{t-1}+(1-z_t)*h'

  • z*ht-1:表示对隐藏状态选择性的遗忘;

  • (1-z)*h':表示对包含当前节点信息的h'选择性的记忆

你可能感兴趣的:(机器学习,深度学习,人工智能)