- 昨天对三国演义进行了分词和绘制云词，今天从昨天的基础上，来对三国出现频率最高的10个人进行分词，绘制三国人物TOP10云词图
import jieba
#对三国进行分词 1.读取 2.分词
with open('./novel/threekingdom.txt', 'r', encoding='utf-8') as f:
words = f.read()
counts = {}
words_list = jieba.lcut(words) #精确分词
for word in words_list:
if len(word) <= 1: #去除单个字符
continue
else:
counts[word] = counts.get(word, 0)+1
#print(counts)
# 删除多余词
excludes = {"将军", "却说", "丞相", "二人", "不可", "荆州", "不能", "如此", "商议",
"如何", "主公", "军士", "军马", "左右", "次日", "引兵", "大喜", "天下",
"东吴", "于是", "今日", "不敢", "魏兵", "陛下", "都督", "人马", "不知", '孔明曰', '玄德曰', '刘备', '关公'} #存放要删除的多余词汇
#将同一个人的多义词合并
counts['孔明'] = counts['孔明'] + counts['孔明曰']
counts['玄德'] = counts['玄德'] + counts['玄德曰'] +counts['刘备']
counts['云长'] = counts['关公'] +counts['云长']
for i in excludes:
del counts[i] #删除多余词汇
#print(counts)
# 排序
items = list(counts.items()) #将字典转换为列表
def sort_by_connt(x): #函数获取人物出现的次数
return x[1]
items.sort(key=sort_by_connt,reverse=True) #从大到小排序
li = []
for i in range(10):
role, count = items[i] #序列解包
for _ in range(count): # _表示循环里面不需要使用临时变量
li.append(role) # 放入 count个role (n个：孔明，孔明，。。。)
#绘制词云
from wordcloud import WordCloud
import imageio
mask = imageio.imread('./image/china.jpg')
text = ' '.join(li) #列表转换为字符串
WordCloud(
font_path='msyh.ttc',
background_color='black',
width=800,
height=600,
collocations=False, #相邻两个重复词之间的匹配
mask=mask
).generate(text).to_file('TOP.png')
结果
捕获.PNG
- 匿名函数
# 语法 ：lamda a,b:a+b
#意思就是 a+b
#运用 上面的三国人物绘制的排序：
def sort_by_connt(x): #函数获取人物出现的次数
return x[1]
items.sort(key=sort_by_connt,reverse=True) #从大到小排序
#这一串等同于
items.sort(key=lambda x:x[1], reverse=True)
#代码更加简单化
- 列表推导式 列表解析和字典解析
# 列表推导式，列表解析和字典解析
# 列表推导式
# 表达式 for 临时变量 in 可迭代对象 可以追加条件
# 使用普通for 创建列表
li = []
for i in range(10):
li.append(i)
print('普通方式创建列表',li)
# # 使用列表推导式来创建列表
li = [i for i in range(10)]
print('使用列表推导式来创建列表',li)
# 列表解析
# 筛选出列表中所有的偶数
li2 = []
for i in li:
if i % 2 == 0:
li2.append(i)
print('普通方法筛选偶数:', li2)
# 使用列表解析筛选所有偶数
li3 = [i for i in range(10) if i % 2 == 0]
print('列表解析方法筛选偶数:', li3)
# 字典解析 ? = {? : ? for ? in ? [?]}
# 生成100个学生的成绩
from random import randint
stu_grades = {'student{}'.format(i): randint(50, 100) for i in range(1, 101)}
print(stu_grades)
# 筛选大于 60分的所有学生
print({k: v for k, v in stu_grades.items() if v > 60})
- 绘制图形 使用matplotlibhe 和 numpy
#导入
from matplotlib import pyplot as plt
# 解决乱码
plt.rcParams["font.sans-serif"] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
import numpy as np
# # 使用100个点 绘制 [0 , 2π]正弦曲线图
# #.linspace 左闭右闭区间的等差数列
x = np.linspace(0, 2*np.pi, num=100)
print(x)
y = np.sin(x) #正弦
cosy = np.cos(x) #余弦
plt.plot(x, y, color='g', linestyle='--', label='sin(x)') #正弦函数图
plt.plot(x, cosy, color='r', label='cos(x)') #余弦函数图
plt.xlabel('时间（s）')
plt.ylabel('电压（V）')
plt.title('欢迎来到python的世界')
# 图例
plt.legend()
plt.show()
# 柱状图
import string
from random import randint
# string.ascii_uppercase[] ABCD...
x = ['口红{}'.format(x) for x in string.ascii_uppercase[:5] ] #使用列表解析创建x
y = [randint(200, 500) for _ in range(5)]
print(x)
print(y)
plt.xlabel('口红品牌')
plt.ylabel('价格（元）')
plt.bar(x, y)
plt.show()
##饼图
counts = [randint(3500, 9000) for _ in range(6)]
labels = ['员工{}'.format(x) for x in string.ascii_lowercase[:6] ]
# 距离圆心点距离
explode = [0.1,0,0, 0, 0,0]
colors = ['red', 'purple','blue', 'yellow','gray','green']
plt.pie(counts,explode=explode, shadow=True, labels=labels, autopct='%1.1f%%',colors=colors) # autopct 显示百分比
plt.legend(loc=2) #loc=2 图例显示在第二象限
plt.axis('equal')
plt.show()
# 散点图
# 均值为 0 标准差为1 的正太分布数据
x = np.random.normal(0, 1, 1000000)
y = np.random.normal(0, 1, 1000000)
# alpha透明度
plt.scatter(x, y, alpha=0.1)
plt.show()
展示：
柱状图.PNG
饼图.PNG
散点图.PNG
- 绘制三国TOP10人物饼图
import jieba
#对三国进行分词 1.读取 2.分词
with open('./novel/threekingdom.txt', 'r', encoding='utf-8') as f:
words = f.read()
counts = {}
words_list = jieba.lcut(words) #精确分词
for word in words_list:
if len(word) <= 1: #去除单个字符
continue
else:
counts[word] = counts.get(word, 0)+1
#print(counts)
# 删除多余词
excludes = {"将军", "却说", "丞相", "二人", "不可", "荆州", "不能", "如此", "商议",
"如何", "主公", "军士", "军马", "左右", "次日", "引兵", "大喜", "天下",
"东吴", "于是", "今日", "不敢", "魏兵", "陛下", "都督", "人马", "不知", '孔明曰', '玄德曰', '刘备', '关公'}
counts['孔明'] = counts['孔明'] + counts['孔明曰']
counts['玄德'] = counts['玄德'] + counts['玄德曰'] +counts['刘备']
counts['云长'] = counts['关公'] +counts['云长']
for i in excludes:
del counts[i]
#print(counts)
# 排序
items = list(counts.items()) #将字典转换为列表
def sort_by_connt(x):
return x[1]
# items.sort(key=sort_by_connt,reverse=True) #从大到小排序
items.sort(key=lambda x:x[1], reverse=True) #使用函数从大到小排序
#print(items)
# li = []
lii = [] # 装人物
lli = [] # 装人物出现的次数
for i in range(10):
role, count = items[i] #序列解包
lli.append(count)
lii.append(role)
# for _ in range(count):
# li.append(role)
print(lii)
print(lli)
# 绘制三国人物TOP10饼图
from random import randint
from matplotlib import pyplot as plt
# 解决乱码
plt.rcParams["font.sans-serif"] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
import numpy as np
explode = [0.1, 0, 0, 0, 0, 0, 0, 0, 0, 0]
plt.pie(lli, explode=explode, shadow=True, labels=lii, autopct='%1.1f%%')
plt.show()
三国TOP10人物饼图
- 红楼梦 TOP10人物分析
import jieba
with open("./novel/all.txt",'r',encoding='utf-8') as f:
words = f.read()
count = {}
words_list = jieba.lcut(words) #精确分词
for i in words_list:
if len(i) <= 1:
continue
else:
count[i] = count.get(i, 0)+1
print(count)
excludes = {'什么', '一个', '我们', '你们', '如今', '说道', '老太太', '知道', '姑娘', '起来',
'这里', '出来', '众人', '那里', '奶奶' ,'自己', '太太', '一面', '只见', '两个',
'没有', '怎么', '不是', '不知', '这个', '听见', '这样', '进来', '咱们', '就是',
'东西', '告诉', '袭人', '回来', '就是', '只是', '大家', '老爷', '只得', '丫头',
'这些', '他们', '不敢', '出去', '所以', '不过', '不好', '姐姐', '探春', '一时', '的话', '鸳鸯','凤姐'
,'过来','不能','心里','她们','如此','今日','二人','答应','几个','这么','还有','只管','说话'}
count['凤姐儿'] = count['凤姐儿'] = count['凤姐']
for i in excludes:
del count[i] # 删除不是人名的高频词汇
items = list(count.items()) #将字典转换为列表
items.sort(key=lambda x: x[1], reverse=True) #使用匿名函数从大到小排序
# print(items)
li = []
lii = [] # 装人物
lli = [] # 装人物出现的次数
for i in range(10):
role, count = items[i] #序列解包
lli.append(count)
lii.append(role)
for _ in range(count):
li.append(role) # 在li里循环写入 count个 role(人名)
text = ' '.join(li) #将li转换为字符串
from wordcloud import WordCloud
import imageio
mask = imageio.imread('./image/china.jpg')
WordCloud(
font_path='msyh.ttc',
background_color='black',
width=800,
height=600,
collocations=False, #相邻两个重复词之间的匹配
mask=mask
).generate(text).to_file('红楼梦.png')
# 绘制红楼梦TOP10饼图
from random import randint
from matplotlib import pyplot as plt
# 解决乱码
plt.rcParams["font.sans-serif"] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
import numpy as np
explode = [0.1, 0, 0, 0, 0, 0, 0, 0, 0, 0]
plt.pie(lli, explode=explode, shadow=True, labels=lii, autopct='%1.1f%%')
plt.show()
红楼梦TOP10人物分析云词
红楼梦TOP10人物分析饼图.PNG