Tensorflow实现微博的评论情感分类模型

学习研究项目：基于微博评论的数据挖掘与情感分析

Github地址：情感分类模型源码

项目简介

学习卷积神经网络，循环神经网络在实际环境下的应用，提升实践能力，了解深度学习在自然语言处理方面的进展

cnn_for_text_classify

具备较强的自动关键词提取能力，在酒店评论测试集上达到95%的准确率
采用l2正则和dropout来控制过拟合现象
4种卷积核使其能提取局部高效的短特征

lstm_for_text_classify

具有较强的对长难句，反问句，阴阳怪气句的判断能力，在在酒店评论测试集上达到97%的准确率
采用双向LSTM网络
对输入数据进行dropout，模拟增大样本空间
LSTM层与层之间进行dropout
对LSTM网络权重，偏置进行l2正则，抗过拟合
网络采用正交初始化，加快收敛速度，提升训练集上的正确率，大幅提升测试集上的正确率
采用Clipping Gradients，防止梯度爆炸，提升测试集上的正确率

word2vec:

项目使用的词向量：embedding_64.bin(1.5G)
训练语料：百度百科800w条 20G+搜狐新闻400w条 12G+小说：90G左右
模型参数：window=5 min_count=5 size=64
下载链接：百度网盘链接 密码:wzqv

文件功能介绍

./
weibo.py：微博评论爬虫
readdata.py：为情感分析模型提供多种数据加载相关API
word2vec.py：为情感分析模型提供多种词向量的相关API
cnn_model.py：CNN文本分类模型图结构
cnn_train.py：CNN文本分类训练代码
cnn_test.py： CNN文本分类测试代码
lstm_model.py：lstm文本分类模型图结构
lstm_train.py：lstm文本分类训练代码
lstm_test.py： lstm文本分类测试代码
mixed_cnn_lstm_test.py:采用模型融合方式将cnn与lstm的结果进行融合投票绝对最终结果

./data
pos.txt：正面评价数据集
neg.txt：负面评价数据集
test.txt：自己放样本测试
embedding_64.bin：训练好的词向量模型
/cnn:cnn模型训练完成的相关数据参数
/lstm：lstm模型训练完成的相关数据参数

推荐运行环境

python 3.6
tensorflow-gpu 1.4
gensim 3.3
Ubuntu 64 Bit / windows10 64 Bit

使用模型注意事项

1.文本TXT文件必须采用UTF-8编码格式，非UTF-8格式的，去记事本中另存为的时候选择UTF-8
2.pos.txt、neg.txt、test.txt 文件一行为一条评论，长度不限，可以有英文和标点（反正都会去除的），不要词性标注信息
3.词向量模型一定要用我放的那个64维度的bin文件
4.模型代码在windows上测试过基本没bug，linux平台没测试过，不过肯定需要自行修改文件路径

模型结构

CNN模型优化

LSTM模型优化