【深度学习笔记整理-6.4】GRU

GRU相比于LSTM运算量小了许多,其中LSTM是SimpleRNN四倍,GRU是三倍。GRU只有更新门和重置门,其中更新门类似将遗忘门和输入门使用这一个门统一调控,重置门会将上一次的记忆重置后投入“信息门”使用。

【深度学习笔记整理-6.4】GRU_第1张图片

更新门

使用更新门用以调控以往数据遗忘的比例和当下数据的输入比例

重置门

重置门用来重置上一次的记忆,然后再投入到信息门中形成当下的信息。

整合

其中(1-Z_{t})类似LSTM中的遗忘门,Z_{t}类似LSTM中的输入门,这两个门同一由更新门调控。

重置门用于重制上一次的记忆,与LSTM中的输出门并不类似,这里不必做强行类比。

你可能感兴趣的:(深度学习,机器学习,python)