NNDL 实验七 循环神经网络（1）RNN记忆能力实验

循环神经网络（Recurrent Neural Network，RNN）是一类具有短期记忆能力的神经网络．

在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构．

和前馈神经网络相比，循环神经网络更加符合生物神经网络的结构．

目前，循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上．

简单循环网络在参数学习时存在长程依赖问题，很难建模长时间间隔（Long Range）的状态之间的依赖关系。

为了测试简单循环网络的记忆能力，本节构建一个【数字求和任务】进行实验。

数字求和任务的输入是一串数字，前两个位置的数字为0-9，其余数字随机生成（主要为0），预测目标是输入序列中前两个数字的加和。图6.3展示了长度为10的数字序列．

6.1 循环神经网络的记忆能力实验

循环神经网络的一种简单实现是简单循环网络（Simple Recurrent Network，SRN）

简单循环网络在参数学习时存在长程依赖问题，很难建模长时间间隔（Long Range）的状态之间的依赖关系。为了测试简单循环网络的记忆能力，本节构建一个数字求和任务进行实验。

数字求和任务的输入是一串数字，前两个位置的数字为0-9，其余数字随机生成（主要为0），预测目标是输入序列中前两个数字的加和。图6.3展示了长度为10的数字序列．

如果序列长度越长，准确率越高，则说明网络的记忆能力越好．因此，我们可以构建不同长度的数据集，通过验证简单循环网络在不同长度的数据集上的表现，从而测试简单循环网络的长程依赖能力. 

6.1.1 数据集构建

构建不同长度的数字预测数据集DigitSum

6.1.1.1 数据集的构建函数

6.1.1.2 加载数据并进行数据划分

6.1.1.3 构造Dataset类

6.1.2 模型构建

6.1.2.1 嵌入层

6.1.2.2 SRN层

• 自定义简单循环网络
• 飞桨框架内置了SRN的API paddle.nn.SimpleRNN 

将自己实现的SRN和Paddle框架内置的SRN返回的结果进行打印展示

将自己实现的SRN与Paddle内置的SRN在输出值的精度上进行对比

在进行实验时，首先定义输入数据inputs，然后将该数据分别传入Paddle内置的SRN与自己实现的SRN模型中，最后通过对比两者的隐状态输出向量。

6.1.2.3 线性层

线性层直接使用paddle.nn.Linear算子。

6.1.2.4 模型汇总

在定义了每一层的算子之后，我们定义一个数字求和模型Model_RNN4SeqClass，该模型会将嵌入层、SRN层和线性层进行组合，以实现数字求和的功能.

6.1.3 模型训练

6.1.3.1 训练指定长度的数字预测模型

6.1.3.2 多组训练

6.1.3.3 损失曲线展示

图6.6展示了在6个数据集上的损失变化情况，数据集的长度分别为10、15、20、25、30和35. 从输出结果看，随着数据序列长度的增加，虽然训练集损失逐渐逼近于0，但是验证集损失整体趋向越来越大，这表明当序列变长时，SRN模型保持序列长期依赖能力在逐渐变弱，越来越无法学习到有用的知识.

6.1.4 模型评价

---

 【动手练习】 6.1 参考《神经网络与深度学习》中的公式(6.50)，改进SRN的循环单元，加入隐状态之间的残差连接，并重复数字求和实验。观察是否可以缓解长程依赖问题。（选做）

---

ref：

NNDL 实验6（上） - HBU_DAVID - 博客园 (cnblogs.com)

NNDL 实验6（下） - HBU_DAVID - 博客园 (cnblogs.com)

8. 循环神经网络 — 动手学深度学习 2.0.0-beta1 documentation (d2l.ai)

9. 现代循环神经网络 — 动手学深度学习 2.0.0-beta1 documentation (d2l.ai)