(3)GRU

    LSTM的重复网络模块的结构很复杂,它实现了三个门计算,即遗忘门、输入门和输出门。

    GRU只有两个门了,分别为更新门和重置门,即图中的zt和rt。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度,更新门的值越大说明前一时刻的状态信息带入越多。重置门用于控制忽略前一时刻的状态信息的程度,重置门的值越小说明忽略得越多。

    网络不再额外给出记忆状态Ct,而是将输出结果ht作为记忆状态向后循环传递

    

GRU网络结构

    其传播过程为

    

GRU 推导过程

你可能感兴趣的:((3)GRU)