【python 走进NLP】利用SnowNLP 训练自己的情感分析库

介绍
SnowNLP是一个python写的类库,可以方便的处理中文文本内容。可以做很多事情,如:

中文分词(Character-Based Generative Model)
词性标注(TnT 3-gram 隐马)
情感分析(现在训练数据主要是买卖东西时的评价,所以对其他的一些可能效果不是很好,待解决)
文本分类(Naive Bayes)
转换成拼音(Trie树实现的最大匹配)
繁体转简体(Trie树实现的最大匹配)
提取文本关键词(TextRank算法)
提取文本摘要(TextRank算法)
tf,idf
Tokenization(分割成句子)
文本相似(BM25)

安装:

pip install snownlp

训练
现在提供训练的包括分词,词性标注,情感分析,而且都提供了用来训练的原始文件

# 中文分词训练库
from snownlp import seg
seg.train('data.txt')
seg.save('seg.marshal')
# 词性标注训练库
from snownlp import tag
tag.train('199801.txt')
tag.save('tag.marshal')
#情感分析训练库
from snownlp import sentiment
sentiment.train('neg.txt', 'pos.txt')
sentiment.save('sentiment.marshal')

这样训练好的文件就存储为sentiment.marshal了,之后修改snownlp/sentiment/init.py里的data_path指向刚训练好的文件即可
找到SnowNLP 安装目录,如下:
【python 走进NLP】利用SnowNLP 训练自己的情感分析库_第1张图片

放进去积极的文本,和消极的文本,进行训练即可。

你可能感兴趣的:(数据科学--机器学习)