SnowNLP是一个python写的类库,可以方便的处理中文文本内容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和TextBlob不同的是,这里没有用NLTK,所有的算法都是自己实现的,并且自带了一些训练好的字典。
计算情感值的示例如下:
from snownlp import SnowNLP
s = SnowNLP(u'这个东西真心很赞')
s.words
s.tags
s.sentiments
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
SnowNLP下载地址:https://pypi.python.org/pypi/snownlp/0.11.1
SnowNLP是一个python写的类库,可以方便的处理中文文本内容。这是今天在邮件列表中看到的,感觉还挺有意思,象:转换成拼音,繁体转简体,提取文本关键词(Textrank算法),提取文本摘要(Textrank算法)好象在一些场合挺有用。有机会试一下。 http://t.cn/8kf1c3p
SnowNLP: Simplified Chinese Text Processing
SnowNLP是一个python写的类库,可以方便的处理中文文本内容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和TextBlob不同的是,这里没有用NLTK,所有的算法都是自己实现的,并且自带了一些训练好的字典。注意本程序都是处理的unicode编码,所以使用时请自行decode成unicode。
Features
中文分词(Character-Based Generative Model)(TODO: 新算法导致字典过大,现在暂时去掉了字典但是第一次import时间稍微长一点)
词性标准(TnT 3-gram 隐马)
情感分析
文本分类(Naive Bayes)
转换成拼音
繁体转简体
提取文本关键词(TextRank算法)
提取文本摘要(TextRank算法)
tf,idf
Tokenization(分割成句子)
文本相似(BM25)
支持python3(感谢erning)
Get It now
$ pip install snownlp
知网发布“情感分析用词语集(beta版) http://www.keenage.com/html/c_bulletin_2007.htm
Python 文本挖掘:使用情感词典进行情感分析(情感词典 ) http://rzcoding.blog.163.com/blog/static/2222810172013101991918346/
Python 文本挖掘:使用情感词典进行情感分析(算法及程序设计) http://rzcoding.blog.163.com/blog/static/2222810172013101844033170/