影视评论分析（一）

问题描述

某部电影上映后，通过影视评论分析受众观感。以此作为某一标准来决定是否有价值被推荐，通过数据做以下问题分析

词云制作，展示影迷观后感
对各评分段人数分析
情感分析训练

数据准备

借助scrapy获取目前最新关于《后来的我们》豆瓣短评

1. 数据分析前准备

在将数据导入以后，首先要对数据进行理解，即知道各个数据所代表的含义
通过第三方获得数据并不是完全满足需求，所以需要对数据进行清洗

词云制作知识储备

1. 分词与词频统计

因为我们制作中文分词，这里选用 jieba 号称最好的python中文分词组件

官方文档: https://pypi.python.org/pypi/jieba/
Python中文分词 jieba 十五分钟入门与进阶： http://blog.csdn.net/fontthrone/article/details/72782499

示例代码

words = [word for word in jieba.cut(content,cut_all=False) if     len(word)>2]

cut 方法参数:(分词的字符串，cut_all是否打开全模式)，
- 全模式：如这样匹配大个子 会分词成：大个个子大个子
长度大于等于2才算词语

2.统计词语出现的词频及频率

借助collections模块的Counter类来实现，Counter是有个无序的容器类型，以键值对的形式存储，key为词，value为计数
也可以借助pandas.DataFrame.groupby来实现

3.停用词过滤
因为分词完成后有很多语气词和一些意义不大的词，这里就需要对这些词进行处理

示例代码

#加载停用词
  stopwords = pd.read_csv(
    "./StopwordsCN.txt", 
      encoding='utf8', 
    index_col=False
)
#移除停用词,并做去反操作
fSegStat = segStat[
    ~segStat.segment.isin(stopwords.stopword)
]

4.生成词云
目前用的比较多的基本都为wordcloud，所以我们以他为主

官方文档：https://amueller.github.io/word_cloud/
Python词云 wordcloud 十五分钟入门与进阶：
http://blog.csdn.net/fontthrone/article/details/72775865

wordcloud库比较关键的是WordCloud构造函数

参数详解
- font_path : 字体路径，词云展示是的字体
- width : 输出的画布宽度，默认400像素
- height : 输出的画布高度，默认200像素
- margin : 画布偏移，默认2像素
- prefer_horizontal : 词语水平排版出现的概率，默认0.9，垂直方向出现的概率0.1
- mask : 如果参数为空，则使用二位遮罩绘制词云，若mask非空，设置的宽高值则将被忽略。遮罩形状被mask，除全白（#FFFFFF）的部分将不会绘制，其余部分会用于绘制词云
- scale : 按照比例进行放大画布
- color_func : 生成颜色的函数，若为空，则使用self.color_func
- max_words：显示的词的最大个数
- min_font_size：显示的最小字体大小
- stopwords：需要屏蔽的词(字符串集合)，为空使用内置STOPWORDS
- random_state：如果给出了一个随机对象，用作生成一个随机数
- background_color：背景颜色，默认为黑色
- max_font_size：显示的最大的字体大小
- font_step：字体步长，如果步长大于1，会加快运算但是可能导致结果出现较大的误差
- mode：当参数为"RGBA"，并且background_color不为空时，背景为透明。默认RGB
- relative_scaling：词频和字体大小的关联性，默认5
- regexp：使用正则表达式分隔输入的文本
- collocations：是否包括两个词的搭配
- colormap：给每个单词随机分配颜色，若指定color_func，则忽略该方法
- normalize_plurals：是否删除尾随的词语
常用的几个方法
- fit_words(frequencies) //根据词频生成词云
- generate(text) //根据文本生成词云
- generate_from_frequencies(frequencies[, ...]) #根据词频生成词云
- generate_from_text(text) #根据文本生成词云
- process_text(text) #将长文本分词并去除屏蔽词
  （此处指英语，中文分词还是需要自己用别的库先行实现，使用上面的 fit_words(frequencies) ）
- recolor([random_state, color_func, colormap]) #对现有输出重新着色。重新上色会比重新生成整个词云快很多。
- to_array() #转化为 numpy array
- to_file(filename) #输出到文件

我们实现简单的方式以便更快上手

bg_pic = imread('背景图片')  # 读取一张图片文件
image_colors = ImageColorGenerator(bg_pic)
wc = WordCloud(font_path=font_path,  # 设置字体
           background_color="white",  # 背景颜色
           max_words=1000,  # 词云显示的最大词数
           mask=bg_pic,  # 设置背景图片
           max_font_size=100,  # 字体最大值
           random_state=42,
           # width=1000, height=860,
           # margin=2,
           )
wc.generate(data)
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis("off")
# 绘制背景图片为颜色的图片
plt.show()
# 保存图片
wc.to_file('绘制词云保存')

效果示例

后来的我们豆瓣短评

各阶段评分阶段分析

数据处理

df = pd.read_csv() # 读取数据文件
segmentDF = pd.DataFrame({'Grade':df.comment_ratting}) # 对评分列做DataFrame处理
segStat = segmentDF.groupby(
by =['Grade'],
)['Grade'].agg({'counts':np.size}).reset_index().sort_values(by=['counts'],ascending=False) # 对DataFrame对象进行groupby处理

数据分析

# 计算各评分阶段的数量
x = segStat.groupby('Grade').agg(np.sum)
labels = [u'较差',u'很差',u'力荐',u'还行',u'推荐']
explode = (0.05, 0, 0,0,0)
plt.pie(x.counts/x.counts.sum(),#绘制的是百分比的图
        labels = labels,         #标签为电影类型
        autopct='%.1f%%',           #百分比的格式
        radius = 2.3,                 #饼图的半径
        labeldistance = 1.1,
        explode = explode,
        pctdistance = 0.6,
        textprops = {'fontsize': 20, 'color' : 'black'}#标签字体的颜色和大小
       )
# seaborn.distplot(x.counts/x.counts.sum(),
#                  label=labels)
plt.show()

效果展示

后来的我们豆瓣影评评分