DL —— 循环神经网络（Recurrent Neural Network，RNN）

RNN 是用来处理序列数据（前后有关联的数据）的神经网络；

普通的神经网络无法预测前后有关联的数据信息，因为无法“记住”之前发生的数据；

RNN 在分析新状态时，将之前的分析结果再次加进来一起分析，这样就可以分析前后有关联的信息；

RNN 可以用来：描述图片、翻译、分析语言感情色彩、DNA序列分析、视频动作识别……

---

RNN的结构可以有多种：

• 多输入多输出（many-to-many）
• 多输入单输出（many-to-one）
• 单输入多输出（one-to-many）
• 单输入单输出（one-to-one）

下图清晰的展示出几种RNN结构（来自吴恩达RNN截图）

---

下面对 many-to-many 结构进行展开分析（其他几种结构分析类似）：

将此结构的内部展开如下图：

由图中可以看出，RNN 不仅在神经网络的层与层之间建立了连接，而且在层间的神经元之间也建立了连接；

而且，不同层权值共享（上图中的 W 是完全相同的，U、V也是）；

前向传播：

训练（back-propagation through time， BPTT）：

因为损失随着时间是累加的，所以在反向传播求偏导时：

在 t 时刻，分别对 W、U、V 求偏导如下：

上组式子中的累乘部分可能会导致梯度消失或梯度弥散；

相比与 sigmoid 函数，tanh 函数关于0对称，梯度较大，收敛速度更快，而且引起梯度消失更慢，所以多选用 tanh 作为此处的激活函数；

此外为了改善梯度消失的现象，也可以使用 relu 激活函数；【点击此处查看：激活函数总结】

RNN 的改进模型 LSTM 笔记连接：https://blog.csdn.net/yizhishuixiong/article/details/105572296