详解RNN(数据解释、结构、计算、优缺点)

1. 引入

​ 传统的神经网络就像这种全连接网络，每个输入都和中间的隐藏层进行连接，然后输出。但这种网络，完全没有时序特点，无法深度挖掘具有时序特点的数据的特征。例如：x1 = ‘我的手机坏了’，x2 = ‘想买一个256g的苹果’。那么在全连接网络中，就很难理解‘256g的苹果’是真实的苹果还是手机了。

​ 于是，就又了RNN（循环精神网络）。

2. RNN简介

​ RNN网络会在下一个x中输入前一个网络的输出，不废话，直接上图，以下是我自己理解的图：

这个是很多网上经典的图：

这张图是转载的一篇博文的，关于RNN这篇博文也写得非常好，关于RNN的讲解
计算公式如下：
$$a_t=f(W_{aa}{a}_{t-1}+W_{ax}{x}_t+b)$$
其中，
（1）$a_t$表示当前时间的输出，$a_{t-1}$表示前一段时间的输出，$x_t$表示当前时间的输入；

（2）$W_{aa}$表示对于$a_{t-1}$的权重（需要训练调优），$W_{ax}$表示对于$x_t$的权重（需要训练调优），$b$表示偏执，也需要训练调优。

3. 对于输入数据的解释

​ 之前对于RNN的输入$x$到底表示什么意思，我一直不太理解，知道有一天看到一个OCR相关的文章才豁然开朗。以下根据自己的理解举一个例子，如有不对，还请各位评论区指出。例子如下：
​ 例如，
Step1: 使用onehot编码（当然也可以使用embedding编码），我的中文字典是：
$$dic={[}^{\prime }{我}^{\prime }{，}^{\prime }{的}^{\prime }{，}^{\prime }{手}^{\prime }{，}^{\prime }{机}^{\prime }{，}^{\prime }{坏}^{\prime }{,}^{\prime }{了}^{\prime }{,}^{\prime }{想}^{\prime }{，}^{\prime }{换}^{\prime }{,}^{\prime }{个}^{\prime }{，}^{\prime }{苹}^{\prime }{，}^{\prime }{果}^{\prime }]$$
Step2: 而我需要使用RNN进行理解的句子是（理解最后这个”苹果“是指手机，还是水果）：
$$我的手机坏了，想换个苹果。$$
Step3: 那么，每个字对应的one-hot编码为：
$$我：10000000000$$
$$的：01000000000$$
$$...$$
$$果：00000000001$$

Step4: 现在，我们需要对上面的句子进行”词划分“，划分规则应该是有一定的方法，我这边就按照语句定吧，如：
​ 我的 手机 坏了， 想 换个 苹果
Step5: 那么对应RNN图中的x1, x2…xn, 应该为：
$$x1{=}^{\prime }我{的}^{\prime }=1000000000001000000000$$
$$x2{=}^{\prime }手{机}^{\prime }=0010000000000010000000$$
$$...$$
$$x4{=}^{\prime }{想}^{\prime }=0000001000000000000000$$
$$...$$
注意：每一个xi都要一样长，即按照最长的词进行编码，如果不够，用0凑。