RNN改进

内容包括:

  1. GRU

  2. LSTM

  3. 双向循环神经网络

GRU

image

R为重置门,重置门有助于捕捉时间序列里短期的依赖关系
Z为更新门,更新门有助于捕捉时间序列里长期的依赖关系

LSTM

遗忘门:控制上一时间步的记忆细胞

输入门:控制当前时间步的输入

输出门:控制从记忆细胞到隐藏状态

记忆细胞:⼀种特殊的隐藏状态的信息的流动

image

双向循环神经网络

image
image.png

你可能感兴趣的:(RNN改进)