NLP基础（二）：递归神经网络

1.RNN

RNN神经网络每一个状态的输出与上一个状态的输出有关，$x_t$和$h_{t-1}$进行拼接作为神经网络的输入计算得到$t$时刻的输出$h_t$，$h_1=f(h_0,x_0)$。因此RNN模型无法进行GPU并行加速。

1.1 parameter sharing

神经网络的参数为$w_h$，通过不断循环递归训练得到该参数。

1.2 Exploding and Vanishing

根据链式法则，在导数值很小的情况下，经过连乘，出现梯度消失的现象。由于RNN常采用sigmoid激活函数$\sigma (wx+b)$，在$wx+b$很小或很大时，其导数会非常小，比如0.0001，在反向传播时出现梯度消失。

1）解决梯度爆炸的方法：截断

在梯度值达到阈值时，取阈值，直接截断。$if||g||>threshold，g=\frac{threshold\times g}{||g||}$。

2）解决梯度消失的方法

A.更换激活函数：tanh，relu

B.更换结构：LSTM，GRU

C.ResNet残差网络

何恺明大佬提出的残差网络，通过残差的连接跳过导数的连乘，有效解决deep神经网络层数过深导致梯度消失的问题。

D.Batch Normalization

在样本内进行归一化（均值为0，方差为1），保证x在绿色的合理范围内，防止经过sigmoid函数出现导数过小的情况出现。

2.LSTM

LSTM由遗忘门、输入门、输出门三个门组成。

1）forget gate：$f_t=\sigma (w_f[h_{t-1},x_t]+b_f)$
2）input gate：$i_t=\sigma (w_i[h_{t-1},x_t]+b_i)，C_t=tanh(w_c[h_{t-1},x_t]+b_c)$
3）output gate：$o_t=\sigma (w_o[h_{t-1},x_t]+b_o)$
4）长记忆：$C_t=f_t\ast C_{t-1}+i_t\ast C_t$
4）短记忆：$h_t=o_t\ast tanh(C_t)$

3.GRU

与LSTM不同，GRU只有两个门了，分别为重置门和更新门。GRU较LSTM所需数据集较少一些，速度也更快一些。

1）重置门：$r_t=\sigma (w_r[h_{t-1},x_t]+b_r)$

2）更新门：$z_t=\sigma (w_z[h_{t-1},x_t]+b_z)$

3）记忆：$h_t=tanh(r_t\ast h_{t-1},x_t)，h_t=(1-z_t)\ast h_{t-1}+z_t\ast h_t$

参考文献
[1]word2vec Parameter Learning Explained
[2]LSTM原理及实现（一）