python词云分析 jieba+wordcloud 按词频生成词云
《大数据文摘》历史文章top10进行词频分析
数据来源及功能：爬取大数据文摘点赞量前10的文章，将文章转换成txt文档，进行词频分析并生成词云分析图。
Step1:安装所需库
pip install re
pip install jieba
pip install collections
pip install numpy
pip install PIL
pip install wordcloud
pip install matplotlib.pyplot
Step2:导入扩展库
import re # 正则表达式库
import jieba.posseg # 词性获取
import collections # 词频统计库
import wordcloud # 词云展示库
import matplotlib.pyplot as plt # 图像展示库（这里以plt代表库的全称） Step3：
-需要将“用户字典.txt”，“停用词库.txt” 两个文件保存为txt格式，放入文件同目录下。（）
-“用户字典.txt” 可以根据需要进行增加统计词库，提高词频识别率。
-“停用词库.txt” 中的词库不纳入计算，可根据需求修改。
将要分析的内容全部放入当前目录下词云分析
Analysis_text = '词云分析.txt' # 分析文档
userdict = '用户词典.txt' # 用户词典
StopWords = '停用词库.txt' # 停用词库
number = 100 # 统计个数
Output = '词频.txt' # 输出文件 文章最后有完整的代码，直接复制即可。
#!/usr/bin/env python
# encoding: utf-8
# 导入扩展库
import re # 正则表达式库
import jieba # 结巴分词
import jieba.posseg # 词性获取
import collections # 词频统计库
import numpy # numpy数据处理库
from PIL import Image # 图像处理库
import wordcloud # 词云展示库
import matplotlib.pyplot as plt # 图像展示库（这里以plt代表库的全称）
if __name__ == '__main__':
# 主要功能自定义设置
# 将要分析的内容全部放入当前目录下词云分析.txt
Analysis_text = '词云分析.txt' # 分析文档
userdict = '用户词典.txt' # 用户词典
StopWords = '停用词库.txt' # 停用词库
number = 100 # 统计个数
Output = '词频.txt' # 输出文件
background = '词频背景.jpg' # 词频背景
# 读取文件
fn = open(Analysis_text,'r',encoding = 'UTF-8') # 打开文件
string_data = fn.read() # 读出整个文件
fn.close() # 关闭文件
# 文本预处理
pattern = re.compile(u'\t|\n|\.|-|:|;|\)|\(|\?|"') # 定义正则表达式匹配模式（空格等）
string_data = re.sub(pattern, '', string_data) # 将符合模式的字符去除
# 动态调整词典
jieba.suggest_freq('', True) #True表示该词不能被分割，False表示该词能被分割
# 添加用户词典
jieba.load_userdict(userdict)
# 文本分词
seg_list_exact = jieba.cut(string_data, cut_all=False, HMM=True) # 精确模式分词+HMM
object_list = []
# 去除停用词（去掉一些意义不大的词，如标点符号、嗯、啊等）
with open(StopWords, 'r', encoding='UTF-8') as meaninglessFile:
stopwords = set(meaninglessFile.read().split('\n'))
stopwords.add(' ')
for word in seg_list_exact: # 循环读出每个分词
if word not in stopwords: # 如果不在去除词库中
object_list.append(word) # 分词追加到列表
# 词频统计
word_counts = collections.Counter(object_list) # 对分词做词频统计
word_counts_top = word_counts.most_common(number) # 获取前number个最高频的词
# 英文词性转中文词性字典：简洁版
En2Cn = {
'a': '形容词',
'ad': '形容词',
'ag': '形容词',
'al': '形容词',
'an': '形容词',
'b': '区别词',
'bl': '区别词',
'c': '连词',
'cc': '连词',
'd': '副词',
'e': '叹词',
'eng': '英文',
'f': '方位词',
'g': '语素',
'h': '前缀',
'i': '成语',
'j': '简称略语',
'k': '后缀',
'l': '习用语',
'm': '数词',
'mq': '数量词',
'n': '名词',
'ng': '名词',
'nl': '名词',
'nr': '名词',
'nr1': '名词',
'nr2': '名词',
'nrf': '名词',
'nrfg': '名词',
'nrj': '名词',
'nrt': '名词',
'ns': '名词',
'nsf': '名词',
'nt': '名词',
'nz': '名词',
'o': '拟声词',
'p': '介词',
'pba': '介词',
'pbei': '介词',
'q': '量词',
'qt': '量词',
'qv': '量词',
'r': '代词',
'rg': '代词',
'rr': '代词',
'rz': '代词',
'rzs': '代词',
'rzt': '代词',
'rzv': '代词',
'ry': '代词',
'rys': '代词',
'ryt': '代词',
'ryv': '代词',
's': '处所词',
't': '时间词',
'tg': '时间词',
'u': '助词',
'ude1': '助词',
'ude2': '助词',
'ude3': '助词',
'udeng': '助词',
'udh': '助词',
'uguo': '助词',
'ule': '助词',
'ulian': '助词',
'uls': '助词',
'usuo': '助词',
'uyy': '助词',
'uzhe': '助词',
'uzhi': '助词',
'v': '动词',
'vd': '动词',
'vf': '动词',
'vg': '动词',
'vi': '动词',
'vl': '动词',
'vn': '动词',
'vshi': '动词',
'vx': '动词',
'vyou': '动词',
'w': '标点符号',
'wb': '标点符号',
'wd': '标点符号',
'wf': '标点符号',
'wj': '标点符号',
'wh': '标点符号',
'wkz': '标点符号',
'wky': '标点符号',
'wm': '标点符号',
'wn': '标点符号',
'wp': '标点符号',
'ws': '标点符号',
'wt': '标点符号',
'ww': '标点符号',
'wyz': '标点符号',
'wyy': '标点符号',
'x': '字符串',
'xu': '字符串',
'xx': '字符串',
'y': '语气词',
'z': '状态词',
'un': '未知词',
}
# 英文词性转中文词性字典：详细版
En2Cn_Pro = {
'a' : '形容词',
'ad' : '形容词-副形词',
'ag' : '形容词-形容词性语素',
'al' : '形容词-形容词性惯用语',
'an' : '形容词-名形词',
'b' : '区别词',
'bl' : '区别词-区别词性惯用语',
'c' : '连词',
'cc' : '连词-并列连词',
'd' : '副词',
'e' : '叹词',
'eng' : '英文',
'f' : '方位词',
'g' : '语素',
'h' : '前缀',
'i' : '成语',
'j' : '简称略语',
'k' : '后缀',
'l' : '习用语',
'm' : '数词',
'mq' : '数量词',
'n' : '名词',
'ng' : '名词-名词性语素',
'nl' : '名词-名词性惯用语',
'nr' : '名词-人名',
'nr1' : '名词-汉语姓氏',
'nr2' : '名词-汉语名字',
'nrf' : '名词-音译人名',
'nrfg' : '名词-人名',
'nrj' : '名词-日语人名',
'ns' : '名词-地名',
'nsf' : '名词-音译地名',
'nt' : '名词-机构团体名',
'nz' : '名词-其他专名',
'o' : '拟声词',
'p' : '介词',
'pba' : '介词-“把”',
'pbei' : '介词-“被”',
'q' : '量词',
'qt' : '量词-动量词',
'qv' : '量词-时量词',
'r' : '代词',
'rg' : '代词-代词性语素',
'rr' : '代词-人称代词',
'rz' : '代词-指示代词',
'rzs' : '代词-处所指示代词',
'rzt' : '代词-时间指示代词',
'rzv' : '代词-谓词性指示代词',
'ry' : '代词-疑问代词',
'rys' : '代词-处所疑问代词',
'ryt' : '代词-时间疑问代词',
'ryv' : '代词-谓词性疑问代词',
's' : '处所词',
't' : '时间词',
'tg' : '时间词-时间词性语素',
'u' : '助词',
'ude1' : '助词-“的”“底”',
'ude2' : '助词-“地”',
'ude3' : '助词-“得”',
'udeng': '助词-“等”“等等”“云云”',
'udh' : '助词-“的话”',
'uguo' : '助词-“过”',
'ule' : '助词-“了”“喽”',
'ulian': '助词-“连”',
'uls' : '助词-“来讲”“来说”“而言”“说来”',
'usuo' : '助词-“所”',
'uyy' : '助词-“一样”“一般”“似的”“般”',
'uzhe' : '助词-“着”',
'uzhi' : '助词-“之”',
'v' : '动词',
'vd' : '动词-副动词',
'vf' : '动词-趋向动词',
'vg' : '动词-动词性语素',
'vi' : '动词-不及物动词（内动词）',
'vl' : '动词-动词性惯用语',
'vn' : '动词-名动词',
'vshi' : '动词-“是”',
'vx' : '动词-形式动词',
'vyou' : '动词-“有”',
'w' : '标点符号',
'wb' : '标点符号-百分号千分号，全角：％ ‰ 半角：%',
'wd' : '标点符号-逗号，全角：， 半角：,',
'wf' : '标点符号-分号，全角：； 半角： ; ',
'wj' : '标点符号-句号，全角：。',
'wh' : '标点符号-单位符号，全角：￥ ＄ ￡ ° ℃ 半角 $',
'wkz' : '标点符号-左括号，全角：（ 〔 ［ ｛ 《 【 〖 〈 半角：( [ { <',
'wky' : '标点符号-右括号，全角：） 〕 ］ ｝ 》 】 〗 〉 半角： ) ] { >',
'wm' : '标点符号-冒号，全角：： 半角： :',
'wn' : '标点符号-顿号，全角：、',
'wp' : '标点符号-破折号，全角：—— －－ ——－ 半角：—',
'ws' : '标点符号-省略号，全角：…… …',
'wt' : '标点符号-叹号，全角：！ 半角：!',
'ww' : '标点符号-问号，全角：？ 半角：?',
'wyz' : '标点符号-左引号，全角：“ ‘ 『',
'wyy' : '标点符号-右引号，全角：” ’ 』',
'x' : '字符串',
'xu' : '字符串-网址URL',
'xx' : '字符串-非语素字',
'y' : '语气词',
'z' : '状态词',
'un' : '未知词',
}
# 输出至工作台，并导出“词频.txt”文件
print('\n词语\t词频\t词性')
print('——————————')
fileOut = open(Output, 'w', encoding='UTF-8') # 创建文本文件；若已存在，则进行覆盖
fileOut.write('词语\t词频\t词性\n')
fileOut.write('——————————\n')
count = 0
for TopWord, Frequency in word_counts_top: # 获取词语和词频
for POS in jieba.posseg.cut(TopWord): # 获取词性
if count == number:
break
print(TopWord + '\t', str(Frequency) + '\t',
list(En2Cn.values())[list(En2Cn.keys()).index(POS.flag)]) # 逐行输出数据
fileOut.write(TopWord + '\t' + str(Frequency) + '\t' + list(En2Cn.values())[
list(En2Cn.keys()).index(POS.flag)] + '\n') # 逐行写入str格式数据
count += 1
fileOut.close() # 关闭文件
# 词频展示
print('\n开始制作词云……') # 提示当前状态
mask = numpy.array(Image.open(background)) # 定义词频背景
wc = wordcloud.WordCloud(
font_path='/System/Library/Fonts/Hiragino Sans GB.ttc', # 设置字体
background_color='white', # 背景颜色
mask=mask, # 文字颜色+形状（有mask参数再设定宽高是无效的）
max_words=number, # 显示词数
max_font_size=150 # 最大字号
)
wc.generate_from_frequencies(word_counts) # 从字典生成词云
print(word_counts)
# wc.recolor(color_func=wordcloud.ImageColorGenerator(mask)) # 将词云颜色设置为背景图方案
plt.figure('词云') # 弹框名称与大小
# plt.subplots_adjust(top=0.99, bottom=0.01, right=0.99, left=0.01, hspace=0, wspace=0) # 调整边距
plt.imshow(wc) # 处理词云
plt.axis('off') # 关闭坐标轴
print('制作完成！') # 提示当前状态
plt.show()