GRU

结构

GRU由Cho、van Merrienboer、 Bahdanau和Bengio在2014年提出。
GRU结构如下：

重置门和更新门

GRU包含两个门，一个重置门 Rt R t 和一个更新门 Zt Z t 。
定义如下：

这两个门的结果经过了一个sigmoid函数，值域为 [0,1] [ 0 , 1 ] .

候选隐含状态

候选隐含状态使用了重置门来控制包含过去时刻信息的上一个隐含状态的流入。如果重置门近似0，上一个隐含状态将被丢弃。因此，重置门提供了丢弃与未来无关的过去隐含状态的机制，也就是说，重置门决定了过去有多少信息被遗忘。

隐含状态

隐含状态 Ht H t 使用更新门 Zt Z t 来对上一个隐含状态 Ht−1 H t − 1 和候选隐含状态进行更新。更新门可以控制过去的隐含状态在当前时刻的重要性。如果更新门一直近似1，过去的隐含状态将一直通过时间保存并传递至当前时刻。这个设计可以应对循环神经网络中的梯度衰减问题，并更好地捕捉时序数据中间隔较大的依赖关系。

总结

重置门有助于捕捉时序数据中短期的依赖关系。
更新门有助于捕捉时序数据中长期的依赖关系。