NNDL 作业10：第六章课后题（LSTM | GRU）

目录

习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

习题6-4 推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果​编辑

习题6-5 推导GRU网络中参数的梯度，并分析其避免梯度消失的效果​ 

---

习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

公式(6.50)为：

在计算误差项时，梯度可能过大，从而导致梯度爆炸问题。

解决办法：使用LSTM网络。

习题6-4 推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果​编辑

 

  避免梯度消失的效果

LSTM把原本RNN的单元改造成一个叫做CEC的部件，这个部件保证了误差将以常数的形式在网络中流动 ，并在此基础上添加输入门和输出门使得模型变成非线性的，并可以调整不同时序的输出对模型后续动作的影响。 

习题6-5 推导GRU网络中参数的梯度，并分析其避免梯度消失的效果​ 

GRU它引⼊了重置⻔（reset gate）和更新⻔（update gate) 的概念，从而修改了循环神经⽹络中隐藏状态的计算⽅式。

 

 

LSTM与GRU二者结构十分相似，不同在于：

新的记忆都是根据之前状态及输入进行计算，但是GRU中有一个重置门控制之前状态的进入量，而在LSTM里没有类似门；
产生新的状态方式不同，LSTM有两个不同的门，分别是遗忘门(forget gate)和输入门(input gate)，而GRU只有一种更新门(update gate)；
LSTM对新产生的状态可以通过输出门(output gate)进行调节，而GRU对输出无任何调节。

GRU的优点是这是个更加简单的模型，所以更容易创建一个更大的网络，而且它只有两个门，在计算性上也运行得更快，然后它可以扩大模型的规模。
参考

 LSTM公式详解&推导

深度学习——循环神经网络GRU公式推导

深度学习笔记-目录 (ai-start.com)

DeepLearning.AI: Start or Advance Your Career in AI