深度学习之循环神经网络（11）LSTM/GRU情感分类问题实战

 前面我们介绍了情感分类问题，并利用SimpleRNN模型完成了情感分类问题的实战，在介绍完更为强大的LSTM和GRU网络后，我们将网络模型进行升级。得益于TensorFlow在循环神经网络相关接口的格式统一，在原来的代码基础上面只需要修改少量几处，便可以完美的升级到LSTM模型或GRU模型。

1. LSTM模型

 首先是Cell方式。LSTM网络的状态List共有两个，需要分别初始化各层的$\mathbf{h}$和$\mathbf{c}$向量。例如：

# [b, 64]，构建Cell初始化状态向量，重复使用
self.state0 = [tf.zeros([batchsz, units]),tf.zeros([batchsz, units])]
self.state1 = [tf.zeros([batchsz, units]),tf.zeros([batchsz, units])]

并将模型修改为LSTMCell模型。代码如下：

# 构建2个Cell
self.rnn_cell0 = layers.LSTMCell(units, dropout=0.5)
self.rnn_cell1 = layers.LSTMCell(units, dropout=0.5)

其它代码不需要修改即可运行。

 对于层方式，只需要修改网络模型一处即可，修改如下：

# 构建RNN，换成LSTM即可
self.rnn = keras.Sequential([
    layers.LSTM(units, dropout=0.5, return_sequences=True),
    layers.LSTM(units, dropout=0.5)
])

2. GRU模型

 首先是Cell方式。GRU的状态List只有一个，和基础RNN一样，只需要修改创建Cell的类型，代码如下：

# 构建2个Cell
self.rnn_cell0 = layers.GRUCell(units, dropout=0.5)
self.rnn_cell1 = layers.GRUCell(units, dropout=0.5)

对于层方式，修改网络层类型即可，代码如下：

# 构建RNN
self.rnn = keras.Sequential([
    layers.GRU(units, dropout=0.5, return_sequences=True),
    layers.GRU(units, dropout=0.5)
])