【一起入门DeepLearning】中科院深度学习_期末复习题2018-2019

专栏介绍：本栏目为 “2022春季中国科学院大学王亮老师的深度学习” 课程记录，这门课程与自然语言处理以及机器学习有部分知识点重合，重合的部分不再单独开博客记录了，有需要的读者可以移步 自然语言处理专栏和机器学习专栏。 如果感兴趣的话，就和我一起入门DL吧

2018-2019 学年第二学期期末试题
四、画出GRU和LSTM工作流程图，解释各个门的作用，并比较两者的差异

这一节相关的知识可以参看这篇博文：【一起入门NLP】中科院自然语言处理第5课-循环神经网络RNN（BPTT+LSTM+GRU）

---

LSTM和GRU的工作流程图：

LSTM各个门的作用：

• 遗忘门：决定从细胞状态中丢弃什么信息。
• 输入门：决定什么样的新信息会被存入细胞状态。
• 输出门：决定输出什么样的值。

GRU各个门的作用：

• 更新门：控制当前时刻输出的状态ht中要保留多少历史状态ht-1，以及保留多少当前时刻的候选状态h^t
• 重置门：决定当前时刻的候选状态是否需要依赖上一时刻的网络状态以及需要依赖多少

LSTM与GRU的差异：

1. 门结构不同
   LSTM：输入门+遗忘门+输出门
   GRU：更新门+重置门
2. 模型参数不同
   GRU比LSTM更加简单，参数更少
3. 对memory 的控制不同
   LSTM： 用output gate 控制，传输给下一个unit。
   GRU：直接传递给下一个unit，不做任何控制，不会控制并保留内部记忆（c_t）。