用Python绘制词云图

前言

词云图是数据分析中比较常见的一种可视化手段。
正好，Python下也有一款词云生成库，word_cloud：https://github.com/amueller/word_cloud
基于我之前爬取的微博数据，制作了一批词云图，由此来讲讲此模块的使用。

一、分词

1.1 制作停止词库

分词之前先准备一下停止词，因为中文中有很多的语气词啊，副词啊等，对于我们展现词频热度是无意义的干扰词。于是，我们就想个法子把他们排除掉。

def make_stopdict():
    stopdict = set()
    f = open("stopwords.txt","r") #网上下载来的停止词文本，近2000个，可以自己往里面添加
    lines = f.readlines()
    for l in lines:
        stopdict.add(l.strip())
    f.close()
    return stopdict
stopdict = make_stopdict()

1.2 分词

利用正则排除掉分词后符号、数字、emoji表情等不容易表明意义的内容，只保留中英文。
分词用的是jieba分词，中文分词领域的大佬：https://pypi.python.org/pypi/jieba/

import re

zhongwen_pat = re.compile(r'^[\u4e00-\u9fa5a-zA-Z]+$')
all_content = []
f = open("weibo.txt","w")
for t in tweets: #tweets是从数据库中取出来的待制作词云图的文本源
    cut_list = [c for c in jieba.cut(t[0]) if zhongwen_pat.search(c)]
    cut_set = set(cut_list)
    res_set = cut_set - stopdict
    res_list = list(res_set)
    all_content.extend(res_list)
    f.writelines(res_list)
f.close()

1.3 统计词频

对于英文文本，word_cloud可以直接对文本源生成词云图。但是对中文的支持没有那么给力，需要我们自己分词并且统计词频生成文本作为参数传入。

def get_top_keywords(file): #这里的file即上一步生成的“weibo.txt”
    top_word_lists = [] # 关键词列表，待填充
    with open(file,'r') as f:
        texts = f.read() # 读取整个文件作为一个字符串
        result = jieba.analyse.textrank(texts,topK=400,withWeight=True) #保留最高频的400个词
        for r in result:
            top_word_lists.append(r[0])
    return top_word_lists

1.4 生成词云图

from scipy.misc import imread
from wordcloud import WordCloud
from wordcloud import ImageColorGenerator
import matplotlib.pyplot as plt
from os import path

def draw_wordcloud(txt):
    #读入一个txt文件,基于此文本知错词云图
    d = path.dirname(__file__) #当前文件文件夹所在目录
    color_mask = imread("te.jpg") #读取背景图片，
    cloud = WordCloud(
        #设置字体，不指定就会出现乱码，文件名不支持中文
        font_path="fzmw.ttf", 
        #font_path=path.join(d,'simsun.ttc'),
        #设置背景色，默认为黑，可根据需要自定义为颜色
        background_color='black', 
        #词云形状，
        mask=color_mask,
        #允许最大词汇
        max_words=400,
        #最大号字体，如果不指定则为图像高度
        max_font_size=100,
        #画布宽度和高度，如果设置了msak则不会生效
        width=600,
        height = 400,
        margin = 2,
        #词语水平摆放的频率，默认为0.9.即竖直摆放的频率为0.1
        prefer_horizontal = 0.8
    )
    wc = cloud.generate_from_frequencies(txt) #产生词云
    #wc = cloud.fit_words(txt) 跟以上是同一意思
    wc.to_file("weibo_cloud.jpg") #保存图片
    #显示词云图片
    plt.imshow(wc)
    #不现实坐标轴
    plt.axis('off')
    #绘制词云
    #plt.figure(dpi = 600)
    image_colors = ImageColorGenerator(color_mask)
    #plt.imshow(wc.recolor(color_func=image_colors)) 重新上色，
    plt.show()

二、词云图结果

我找了新浪logo的图片做mask，结果效果比较差。所以直接用了默认的长方形画布。
爬虫采集到的微博女性词云图：

微博男性用户词云图：

注意1：字体、颜色、大小等等得多次尝试来调整，一般默认生成的都比较丑。
注意2：停止词与分词的选择很重要，我这次的结果就不是特别好，看不出个所以然来-。-