循环神经网络

循环神经网络(Recurrent Neural Networks)是一种可以用于预测的神经网络，它可以分析诸如股票价格之类的时序数据，并告诉你何时应该买入/卖出。同时也可以在自动驾驶系统中，预测车辆的行进轨迹，从而避免发生交通事故。与其他许多神经网络不同的是，RNNs对于输入的序列长度没有要求。也就是说，你可以将长短不一的参数序列传入RNNs，比如任意一篇文章，或者任意一段音频的采样。这也是RNNs经常被应用于NLP领域的原因之一。更重要的是，RNNs基于时序数据的预测能力，使得它可以胜任包括自动编曲，文本编写等等创造性工作。

循环神经元

对于大部分的神经网络而言，传播方向基本都是一个方向的，也就是比较常见的前馈网络。而对于RNNs来说，它的传播方向是前后双向的。最简单的例子，就是仅由一个循环神经元(recurrent neuron)接收输入$x_{(t)}$，以及这个神经元上一时刻的输出$y_{(t-1)}$。如果我们将它在时间上进行延拓，就可以得到下图中展示的效果。

​
因此，生成一个由循环神经元组成的层十分简单 —— 只需要让每一个神经元在任一时刻，都接收$x_t$的传入以及上一时刻的输出$y_{(t-1)}$就可以了。每一个循环神经元都有两组权重，即输入$x_{(t)}$的权重$w_x$以及前一时刻输出$y_{(t-1)}$的权重$w_y$。对于单一循环神经元而言，任一时刻的输出$y_{(t)}$，可以被表示为：
$$y_{(t)}=\varphi (x_t^T\cdot w_x+y_{(t-1)}^T\cdot w_y+b)$$
其中$b$为偏置项，$\varphi$为激活函数。将这样的神经元组成神经网络中的一个层，就可以得到一个循环神经层。即该层上一时刻的输出将会作为下一时刻输入的一部分：

因此对于整个层的输出可以表示为：​
$$Y_{(t)}=\varphi (X_{(t)}\cdot W_x+Y_{(t-1)}\cdot W_y+b)$$
化简为：
$$Y_{(t)}=\varphi \left(\left[X_{(t)}{Y}_{(t-1)}\right]\cdot W+b\right)withW=\left[\begin{array}{c}{W}_x\\ W_y\end{array}\right]$$
其中：

• $Y_{(t)}$​是一个大小为$m\times n_{neurons}$，包含$t$时刻所有输出的矩阵。其中$m$是该层mini-batch中所有实例的个数，$n_{neurons}$是神经元的个数。
• ​$X_{(t)}$是一个大小为$m\times n_{inputs}$，包含所有实例的输入的矩阵。其中$n_{inputs}$是输入特征的数量。
• $W_x$​是一个大小为$n_{inputs}\times n_{neurons}$，包含输入对于当前时刻的连接权重的权重矩阵。
• $W_y$​是一个大小为$n_{neurons}\times n_{neurons}$，包含输出对于前一时刻的连接权重的权重矩阵。
• ​这两个权重矩阵$W_x$和$W_y$经常被拼接成为一个大小为$\left(n_{inputs}+n_{neurons}\right)\times n_{neurons}$的独立的权重矩阵$W$。
• $b$​是一个大小为$n_{neurons}$，包含每个神经元的偏置项的向量。

from tensorflow.keras

​

​
​

​