RNN中的GRU门

传统RNN网络中的梯度下降现象会导致RNN的记忆能力并不太好。为了使得RNN网络能够记得更久以前的信息，就有了GRU（gated recurrent unit）。GRU使得信息可以直接从过去流到现在，而不需要经过连续的矩阵作用。

我们在这里以tanh-RNN为例来说明，传统的网络更新流程如图Fig 0所示。

Fig 0

但是GRU采用的策略如Fig1所示。

Fig 1

首先我们在h中选择一个子集，这个子集经过传统的tanh作用后，我们得到h'，数学形式如Fig 2中所示。

Fig 2.

那么r(eset)这个值该怎么决定呢？

Fig 3

r决定了h中哪些元素在产生h'的时候起作用。但是这里仍然不是最后的updata，最后的update如图Fig 4所示。

Fig 4.

u是update gate，它的定义如图Fig 5所示。

Fig 5.