NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

6.3 LSTM的记忆能力实验

长短期记忆网络（Long Short-Term Memory Network，LSTM）

是一种可以有效缓解长程依赖问题的循环神经网络．

6.3.1 模型构建

在本实验中，我们将使用第6.1.2.4节中定义Model_RNN4SeqClass模型，并构建 LSTM 算子．

只需要实例化 LSTM ，并传入Model_RNN4SeqClass模型，就可以用 LSTM 进行数字求和实验。

6.3.1.1 LSTM层

• 自定义LSTM算子
• nn.LSTM
• 将自自定义LSTM与pytorch内置的LSTM进行对比

6.3.1.2 模型汇总

6.3.2 模型训练

6.3.2.1 训练指定长度的数字预测模型

6.3.2.2 多组训练

6.3.2.3 损失曲线展示

动手练习6.3： 改进第6.3.1.1节中的 LSTM 算子，使其可以支持双向 LSTM 模型的计算（选做）

6.3.3 模型评价

6.3.3.1 在测试集上进行模型评价

6.3.3.2 模型在不同长度的数据集上的准确率变化图

动手练习6.4： 请实现 GRU 算子，完成上面实验，并对比 GRU 和 LSTM 的实验效果（选做）

6.3.3.3 LSTM模型门状态和单元状态的变化

 ref：

NNDL 实验6（上） - HBU_DAVID - 博客园 (cnblogs.com)

NNDL 实验6（下） - HBU_DAVID - 博客园 (cnblogs.com)

8. 循环神经网络 — 动手学深度学习 2.0.0-beta1 documentation (d2l.ai)

9. 现代循环神经网络 — 动手学深度学习 2.0.0-beta1 documentation (d2l.ai)