Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析

爬取过程在这里:

Python爬取你好李焕英豆瓣短评并利用stylecloud制作更酷炫的词云图

本文基于前文爬取生成的douban.txt,基于SnowNLP做情感分析。


依赖库:

豆瓣镜像比较快:

pip install snownlp -i http://pypi.douban.com/simple/ --trusted-host=pypi.douban.com/simple

Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析_第1张图片


初识SnowNLP:

SnowNLP是一个常用的Python文本分析库,是受到TextBlob启发而发明的。由于当前自然语言处理库基本都是针对英文的,而中文没有空格分割特征词,Python做中文文本挖掘较难,后续开发了一些针对中文处理的库,例如SnowNLP、Jieba、BosonNLP等。

Snownlp主要功能包括:

  • 中文分词(算法是Character-Based Generative Model)
  • 词性标注(原理是TnT、3-gram 隐马)
  • 情感分析
  • 文本分类(原理是朴素贝叶斯)
  • 转换拼音、繁体转简体
  • 提取文本关键词(原理是TextRank)
  • 提取摘要(原理是TextRank)、分割句子
  • 文本相似(原理是BM25)

情感分析实战:

SnowNLP情感分析是基于情感词典实现的,其简单的将文本分为两类,积极和消极,返回值为情绪的概率,也就是情感评分在[0,1]之间,越接近1,情感表现越积极,越接近0,情感表现越消极。

下面对爬取的豆瓣电影《你好李焕英》评论进行情感分析。

情感各分数段出现频率

首先统计各情感分数段出现的评率并绘制对应的柱状图。

对douban.txt文件逐行进行情感倾向值计算,代码如下:

# -*- coding: utf-8 -*-
# -*- coding: utf-8 -*-
from snownlp import SnowNLP
import matplotlib.pyplot as plt
import numpy as np

source = open("douban.txt","r", encoding='utf8')
line = source.readlines()
sentimentslist = []
for i in line:
    s = SnowNLP(i)
    print(s.sentiments)
    sentimentslist.append(s.sentiments)


plt.hist(sentimentslist, bins = np.arange(0, 1, 0.01), facecolor = 'g')
plt.xlabel('Sentiments Probability')
plt.ylabel('Quantity')
plt.title('Analysis of Sentiments')
plt.show()

输出结果如下图所示:
Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析_第2张图片

对应的情感倾向值如下(部分):
Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析_第3张图片

情感波动分析

接下来分析评论,每条评论的波动情况,代码如下所示:

# -*- coding: utf-8 -*-
# 区间[0,1]
from snownlp import SnowNLP

import matplotlib.pyplot as plt
import numpy as np

source = open("douban.txt","r", encoding='utf8')
line = source.readlines()
sentimentslist = []
for i in line:
    s = SnowNLP(i)
    print(s.sentiments)
    sentimentslist.append(s.sentiments)


plt.plot(np.arange(0, 166, 1), sentimentslist, 'b-')
plt.xlabel('Number')
plt.ylabel('Sentiment')
plt.title('Analysis of Sentiments')
plt.show()

输出结果如下所示,接近1.0代表好评,可以看出好评率很高。
Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析_第4张图片

改进

将情感区间从[0, 1.0]转换为[-0.5, 0.5],这样的曲线更加直观,位于0以上的是积极评论,反之消极评论。
修改代码如下:

# -*- coding: utf-8 -*-
import matplotlib.pyplot as plt
import numpy as np

from snownlp import SnowNLP


#获取情感分数
source = open("douban.txt","r", encoding='utf8')
line = source.readlines()
sentimentslist = []
for i in line:
    s = SnowNLP(i)
    print(s.sentiments)
    sentimentslist.append(s.sentiments)

#区间转换为[-0.5, 0.5]
result = []
i = 0
while i<len(sentimentslist):
    result.append(sentimentslist[i]-0.5)
    i = i + 1

#可视化画图

plt.plot(np.arange(0, 166, 1), result, 'r-')
plt.xlabel('Number')
plt.ylabel('Sentiment')
plt.title('Analysis of Sentiments')
plt.show()

绘制图形如下所示:

Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析_第5张图片

可以看到0以上好评的远远超出差评。

爬取猫眼电影,此刻的《你好李焕英》票房已经超过46忆!!!
在这里插入图片描述

Python爬取《你好李焕英》豆瓣短评并基于SnowNLP做情感分析_第6张图片

你可能感兴趣的:(#,Python爬虫,可视化,python,自然语言处理,nlp,javascript)