动手学深度学习——循环神经网络

循环神经网络

循环神经网络（RNN）主要用于预测任务：基于当前和历史输入序列，预测序列的下一个字符。循环神经网络相对于普通神经网络而言，最大的特点在于颖仓变量$H$的引进，用$H_t$表示$H$在时间步$t$的值，该变量记录了到当前字符为止的序列信息。历史信息的使用使得预测更为精确。循环神经网络的示意图：

循环神经网络模型

假设${\mathbf{X}}_{\mathbf{t}}\in {\mathbb{R}}^{\mathbf{n}\times \mathbf{d}}$是时间步$t$的小批量输入，${\mathbf{H}}_{\mathbf{t}}\in {\mathbb{R}}^{\mathbf{n}\times \mathbf{h}}$是该时间步的隐藏变量，则：
$${\mathbf{H}}_{\mathbf{t}}=\Phi ({\mathbf{X}}_{\mathbf{t}}{\mathbf{W}}_{\mathbf{x}\mathbf{h}}+{\mathbf{H}}_{\mathbf{t}-1}{\mathbf{W}}_{\mathbf{h}\mathbf{h}}+{\mathbf{b}}_{\mathbf{h}})$$

其中${\mathbf{W}}_{\mathbf{x}\mathbf{h}}\in {\mathbb{R}}^{\mathbf{d}\times \mathbf{h}}$，${\mathbf{W}}_{\mathbf{h}\mathbf{h}}\in {\mathbb{R}}^{\mathbf{h}\times \mathbf{h}}$，${\mathbf{b}}_{\mathbf{h}}\in {\mathbb{R}}^{1\times \mathbf{h}}$，$\Phi$函数是非线性激活函数。由于引入了${\mathbf{H}}_{\mathbf{t}-1}{\mathbf{W}}_{\mathbf{h}\mathbf{h}}$，${\mathbf{H}}_{\mathbf{t}}$能够捕捉截至当前时间步的序列的历史信息，就像是神经网络当前时间步的状态或记忆一样。循环神经网络的展开式示意图如下所示：

在时间步，输出层的输出为：
$${\mathbf{O}}_{\mathbf{t}}={\mathbf{H}}_{\mathbf{t}}{\mathbf{W}}_{\mathbf{h}\mathbf{q}}+{\mathbf{b}}_{\mathbf{q}}$$

其中${\mathbf{W}}_{\mathbf{h}\mathbf{q}}\in {\mathbb{R}}^{\mathbf{d}\times \mathbf{h}}$，${\mathbf{b}}_{\mathbf{q}}\in {\mathbb{R}}^{1\times \mathbf{q}}$。

注：上述来源于伯禹学习平台的《动手学深度学习》的学习笔记