【23-24 秋学期】NNDL 作业10 BPTT


习题6-1P 推导RNN反向传播算法BPTT.

习题6-2 推导公式(6.40)和公式(6.41)中的梯度.

习题6-3 当使用公式(6.50)作为循环神经网络的状态更新公式时, 分析其可能存在梯度爆炸的原因并给出解决方法.

习题6-2P 设计简单RNN模型,分别用Numpy、Pytorch实现反向传播算子,并代入数值测试.

 代码实现

REF:L5W1作业1 手把手实现循环神经网络_追寻远方的人的博客-CSDN博客

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6BYdh19X-1667651367214)(L5W1%E4%BD%9C%E4%B8%9A1%20%E6%89%8B%E6%8A%8A%E6%89%8B%E5%AE%9E%E7%8E%B0%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C.assets/960-1667291444258-2.png)]
 

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4hUm4GaQ-1667651367218)(L5W1%E4%BD%9C%E4%B8%9A1%20%E6%89%8B%E6%8A%8A%E6%89%8B%E5%AE%9E%E7%8E%B0%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C.assets/960-1667291444258-5.png)]

你可能感兴趣的:(深度学习)