TextRNN用于文本分类

1.单向RNN结构

上述公式中，权重矩阵U、V、W共享

2.双向RNN(Bidirection-RNN)结构

双向RNN的最终输出和中间隐藏状态的计算公式如下，正向计算与反向计算不共享权重:

3.LSTM(长短时记忆网络)

普通的RNN网络中只有S_t = f(Ux_t+WS_t-1)，这种结构无法捕捉到长文本中远距离相关的特征，同时隐藏层的状态对短期的输入非常敏感，也会产生梯度爆炸或梯度消失问题。LSTM的关键在于cell的状态(整个绿色图表示一个cell)和穿过cell的那条水平线。

如果只有上面的那条水平线是没办法实现添加或删除信息的，必须通过一种叫门(gates)的结构实现，门可以让信息选择性的通过，主要通过一个sigmoid的神经层和一个逐点相乘的操作实现的。

sigmoid层的输出是一个向量，向量的每个元素都在[0,1]之间，表示让对应的信息通过的权重。如：0表示不让信息通过，1表示让所有信息通过。

• (1)遗忘门(forget gate)
  在LSTM中的第一步决定我们会从细胞状态中遗忘什么信息，这个决定通过一个称为遗忘门层来实现的。该门会读取$h_{t-1}$和$x_t$,输出一个在[0,1]之间的数值给每个在细胞状态$C_{t-1}$中的数字，1表示“完全保留”，0表示“完全遗忘”。
  
  其中$h_{t-1}$表示上一个cell的输出,$x_t$表示当前细胞的输入，sigmoid表示激活函数
• (2)输入门(input gate)
  下一步决定让多少新的信息加入到cell状态中，实现这个需要包括两个步骤：首先，一个叫做"input gate layer"的sigmoid层决定哪些信息需要更新；一个tanh层生成一个向量，即备选用来更新的内容${\hat{C}}_t$。在下一步，我们把这两部分联合起来，对cell的状态进行一个更新。
  
  现在是更新旧细胞状态的时间，将$C_{t-1}$更新为$C_t$下面就是具体的实现过程:先将旧状态与$f_t$相乘，丢弃掉确定需要丢弃的信息。然后，加上$i_t\ast {\hat{C}}_t$
  最后的值就是新的候选值，根据我们决定更新每个状态的程度进行变化。
  
• (3)输出门
  最后，需要确定最终输出是什么值。这个输出状态将会基于我们的细胞状态，但是也是一个过滤后的状态。首先，运行一个sigmoid层来确定细胞状态的哪个部分将会输出出去。接着，把细胞状态通过tanh进行处理，得到一个[-1,1]之间的值，并将它和sigmoid门的输出相乘，最终仅仅会输出我们确定输出的那部分。
  

4.LSTM的变体GRU网络

• (1)下面介绍一种LSTM比较著名的变种GRU，如下图所示，只有两个门：重置门(reset gate)和更新门(update gate)。同时在这个结构中，把细胞状态和隐藏状态进行合并，此结构比LSTM更简单。
  
  其中，重置门表示为$ r_{t} $,更新门表示为$z_t$。重置门决定是否将之前的状态忘记(相当于合并了LSTM中的遗忘门与输入门)。当$r_t$趋于0时，前一时刻的状态信息$h_{t-1}$会被遗忘掉，隐藏状态$\hat{h}_t$会被重置为当前输入的信息。更新门决定是否将隐藏状态更新为新的状态$\hat{h}_t$(相当于LSTM中的输出门)。
• (2) GRU与LSTM相比较:
  • a.GRU少一个门，同时少了细胞状态$C_t$
  • b. 在LSTM中，通过遗忘门和输入门控制信息的保留与输入；GRU通过重置门来控制是否保留原来隐藏状态的信息，但是不再限制当前信息的输入。
  • c. 在LSTM中，虽然得到了新的细胞状态$C_t$,但还是不能直接输出，而需要经过一个过滤的处理:$h_t$=$o_t\ast tanh(C_t)$;同样在GRU中，虽然也得到新的隐藏状态${\hat{h}}_t$,但是还不能直接输出，而是通过更新门来控制最后的输出是:$h_t$=$(1-z_t)\ast h_{t-1}+z_t\ast {\hat{h}}_t$

5.RNN文本分类

• (1) 用于文本分类的单向RNN结构
  
• (2) 引入双向LSTM进行分类,网络框架是:embedding layer—>Bi-LSTM layer—>concat output—>FC layer —> softmax层
  
  

6.参考博客

• 1.LSTM原理及实现
• 2.TextRNN