Tensorflow+RNN实现新闻文本分类

原文链接: http://www.cnblogs.com/xiaomai0379/p/10462295.html

Tensorflow+RNN实现新闻文本分类

  1. 加载数据集

数据集cnew文件夹中有4个文件:

1.训练集文件cnews.train.txt

2.测试集文件cnew.test.txt

3.验证集文件cnews.val.txt

4.词汇表文件cnews.vocab.txt

新闻文本共有10个类别,65000个样本数据,其中训练集50000条,测试集10000条,验证集5000条

输入:从txt文本中输入的数据为新闻类别、新闻内容,进行词和ID的映射后,所有的词变为词向量。

输出预测结果y为一个10维数组,数组中值的取值范围为[0,1],使用tf.argmax(y,1),取出数组中最大值的下标,再用独热表示以及模型输出转换成数字标签。

加载训练集函数:

 Tensorflow+RNN实现新闻文本分类_第1张图片

加载词文件函数:

 Tensorflow+RNN实现新闻文本分类_第2张图片

     2.词和ID的映射

将词汇表中的词映射到对应的ID,再把训练文本中的每一条新闻中所有词转换成对应ID。使用测试集验证模型预测准确度时,对测试集中的文本做同样操作。

1) 使用列表推导式得到词汇及其id对应的列表,并调用dict方法将列表强制转换为字典。代码为:word2id_dict = dict([(b, a) for a, b in enumerate(vocabulary_list)]),将1中的词汇列表数组做了词和ID的映射,格式为:{'': 0, ',': 1, '的': 2, '。': 3,...}。

2) 使用列表推导式和匿名函数定义函数content2idlist,函数作用是将文章中的每个字转换为id,代码为:content2idList = lambda content : [word2id_dict[word] for word in content if word in word2id_dict]。

3) 使用列表推导式得到的结果是列表的列表,总列表train_idlist_list中的元素是每篇文章中的字对应的id列表;代码为:train_idlist_list = [content2idList(content) for content in train_content_list],格式为:[[387, 1197, …, 3], …,[199, 964, …,3, 24]]

     3.构建RNN网络

1) 设置循环神经网络的超参数

Tensorflow+RNN实现新闻文本分类_第3张图片 

2) 将每个样本统一长度为seq_length,train_X = kr.preprocessing.sequence.pad_sequences(train_idlist_list, sequence_length)。

3) 调用LabelEncoder对象的fit_transform方法做标签编码,代码为:train_y = labelEncoder.fit_transform(train_label_list),格式为: [0 0 0 ... 9 9 9],将训练数据的类别标签转换成整型。

4) 调用keras.untils库的to_categorical方法将标签编码的结果再做Ont-Hot编码,将整型标签转换成onehot,代码为:train_Y = kr.utils.to_categorical(train_y, num_classes),格式为:[[1. 0. 0. 0. 0. 0. 0. 0. 0. 0.] … [1. 0. 0. 0. 0. 0. 0. 0. 0. 0.]]。

5) 调用tf库的get_variable方法实例化可以更新的模型参数embedding,矩阵形状为vocabulary_size*embedding_size,即5000*64。代码为embedding = tf.get_variable('embedding', [vocabolary_size, embedding_size])。

6) 使用tf.nn库的embedding_lookup方法将输入数据做词嵌入,代码为:embedding_inputs = tf.nn.embedding_lookup(embedding, X_holder)X_holder中已经设置了序列长度为150/600。得到新变量embedding_inputs的形状为batch_size*sequence_length*embedding_size。

7) RNN层的搭建:将上述六步中处理好的数据输入到LSTM网络中,调用的是tf.nn.rnn_cell.BasicLSTMCell 函数,代码为:lstm_cell = tf.contrib.rnn.BasicLSTMCell(num_hidden_units), num_hidden_units为隐藏层神经元的个数,实验中设置为了128/256。还要设置一个 dropout 参数,避免过拟合,代码为:lstm_cell = tf.contrib.rnn.DropoutWrapper(cell=lstm_cell, output_keep_prob=0.75)。

8)  LSTM cell 和三维的数据输入到 tf.nn.dynamic_rnn ,目的为展开整个网络并构建一整个 RNN 模型,代码为:outputs, state = tf.nn.dynamic_rnn(lstm_cell, embedding_inputs,dtype=tf.float32)。

9) 获取最后一个细胞的h,即最后一个细胞的短时记忆矩阵,代码为:last_cell = outputs[:, -1, :]。

10) 添加第一个全连接层:调用tf.layers.dense方法,将结果赋值给变量full_connect1,形状为batch_size*num_fc1_units,词向量大小与全连接层神经元一致。

11) 调用tf.contrib.layers.dropout方法,防止过拟合,代码为:full_connect1_dropout = tf.contrib.layers.dropout

(full_connect1, dropout_keep_probability)。

12) 调用tf.nn.relu方法,即激活函数,增强拟合复杂函数的能力,代码为:full_connect1_activate = tf.nn.relu(full_connect1_dropout)。

13) 添加第二个全连接层:操作类似于第一个全连接层,但全连接层的神经元个数为10(对应新闻的10种类别),然后使用Softmax函数,将结果转化成10个类别的概率。

14) 使用交叉熵作为损失函数,调用tf.train.AdamOptimizer方法定义优化器optimizer  学习率设置为了0.001。代码为:

Tensorflow+RNN实现新闻文本分类_第4张图片

所以该文本识别模型为:输入数据-->RNN层(LSTM模型)-->全连接层1-->全连接层2 -->输出

       4.使用训练数据迭代训练模型

模型迭代运行5000/10000次,从训练集中选取batch_size大小,即64个样本做批量梯度下降;每训练100次模型,从测试集中随机选取200个样本,验证一下模型的预测能力。

 Tensorflow+RNN实现新闻文本分类_第5张图片

          5.在测试集上进行准确率评估

5中所示每训练100次模型,在测试集中随机选取200个样本,验证训练的模型预测能力。

实验结果记录:

实验中使用了门限循环单元GRU)、长短期记忆神经网络(LSTM)做对比。

长短期记忆LSTM是一种和GRUs不同的复杂的激活单元,作用与GRUs相似,但是在单元的结构上不一样,最终记忆产生融合了输入门与遗忘门的结果,且输出门是GRUs中没有显性存在的门,目的为从隐层状态分离最终的记忆。

GRU则是LSTM的一个变体, GRU保持了LSTM的效果同时又使结构更加简单。

BasicLSTMCell实验结果:

模型方法

BasicLSTMCell

BasicLSTMCell

BasicLSTMCell

BasicLSTMCell

训练次数

5000

5000

10000

10000

序列长度

150

150

600

600

隐藏层神经元

128

256

128

256

每次测试样本数

200

200

200

200

准确度(5000/10000次训练)

0.8700

0.8950

0.9250

0.9350

准确度(最大)

0.9150

0.9100

0.9250

0.9800

GRUCell实验结果:

模型方法

GRUCell

GRUCell

GRUCell

GRUCell

训练次数

5000

5000

10000

10000

序列长度

150

150

600

600

隐藏层神经元

128

256

128

256

每次测试样本数

200

200

200

200

准确度(5000/10000次训练)

0.9400

0.9300

0.9500

0.9500

准确度(最大)

0.9550

0.9300

0.9800

0.9750

实验对比可知:

1) 在训练次数、序列长度、隐藏层神经元相同的条件下,BasicLSTMCell的预测准确度,均低于GRUCell,原因为:TensorFlow中的BasicLSTMCell是一种参考或者标准实现,解决实际问题中不是首选;GRU 参数相对少更容易收敛。

2) 增加训练次数(5000à1000),模型的预测准确度有提升,因为随着训练次数的增多,有用的信息在 LSTM 中进行了保存。

3) LSTM单元的数量很大程度上取决于输入文本的平均长度,更多的单元数量可以帮助模型存储更多的文本信息,但模型的训练时间就会增加很多。

转载于:https://www.cnblogs.com/xiaomai0379/p/10462295.html

你可能感兴趣的:(Tensorflow+RNN实现新闻文本分类)