一文读懂循环神经网络

循环神经网络分类

（1）RNN

（2）LSTM

RNN循环神经网络

为什么需要RNN

之前的DNN和CNN中，训练样本的输入和输出是比较的确定的。但是有一类问题DNN和CNN不好解决，就是训练样本输入是连续的序列,且序列的长短不一。且某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。

举例来说：当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列； 当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。

所以为了解决一些这样类似的问题，能够更好的处理序列的信息，RNN就诞生了。

RNN网络结构

简单理解：

（1）如果把上面有W的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络。

（2）x是一个向量，它表示输入层的值（这里面没有画出来表示神经元节点的圆圈）。

（3）s是一个向量，它表示隐藏层的值（这里隐藏层面画了一个节点，你也可以想象这一层其实是多个节点，节点数与向量s的维度相同）。o也是一个向量，它表示输出层的值。

（4）U是输入层到隐藏层的权重矩阵，V是隐藏层到输出层的权重矩阵。

（5）W代表什么？循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

上图中左边是RNN模型没有按时间展开的图，如果按时间序列展开，则是上图中的右边部分。我们重点观察右边部分的图。

这幅图描述了在序列索引号t附近RNN的模型。其中：

1）代表在序列索引号t时训练样本的输入。同样的，和代表在序列索引号t−1和t+1时训练样本的输入。

2）代表在序列索引号t时模型的隐藏状态。由和共同决定。

3）代表在序列索引号t时模型的输出。只由模型当前的隐藏状态决定。

4）代表在序列索引号t时模型的损失函数。

5）代表在序列索引号t时训练样本序列的真实输出。

6）U,W,V这三个矩阵是我们的模型的线性关系参数，它在整个RNN网络中是共享的，这点和DNN很不相同。 也正因为是共享了，它体现了RNN的模型的“循环反馈”的思想。　

RNN前向传播算法

有了上面的模型，RNN的前向传播算法就很容易得到了。

对于任意一个序列索引号t，隐藏状态由和得到：

其中σ为RNN的激活函数，一般为tanh.

序列索引号t时模型的输出的表达式比较简单：

在最终在序列索引号tt时我们的预测输出为:

通常由于RNN是识别类的分类模型，所以上面这个激活函数一般是softmax。

通过损失函数，比如对数似然损失函数，我们可以量化模型在当前位置的损失，即和的差距。