用python分析四大名著（一）

项目起因及意义

起初在浏览知乎时看见一篇文章觉得很有意思（用Python分析《红楼梦》），此文章较长，题主采用了一系列方法分析红楼梦前八十回和后四十回是否为同一个人所写，虽然题主贴上了部分实现的截图，我就想试着来实现一遍，但由于目前能力有限，一些机器学习算法不够了解，加上python又是刚刚学，所以我打算先结合《Python语言程序设计基础》这本书上的例子—-《三国演义》人物出场统计来作为此系列博客第一篇，后续等能力足矣会陆陆续续补上。

前期准备

三国里人物众多，我们需要对人物出场次数统计，中文文章需要分词才能进行词频统计，这里我们用到第三方库jieba，这里我就不提供下载方法了，然后我们需要《三国演义》的电子书网上都有，很容易下载。

项目进行

1. 将文本数据导入pycharm

import jieba
txt = open("三国演义.txt", "r", encoding="gb18030").read()

这里的编码格式一开始我是按照书上‘utf-8’格式读取，发现会乱码，后来在pycharm里面用‘gbk’格式能读出文本内容，但是个别字符识别不出来，就去百度到“gb18030”比gbk范围更广，这里我成功读入。如果你此时还是读入不了可以写成下面形式

txt = open("三国演义.txt", "r", encoding="gb18030"，errors="ignore").read()

2.完整代码实现

import jieba
excludes = {"将军", "却说", "荆州", "二人", "不可", "不能", "如此", "商议", "如何", "主公", "军士", "左右", "军马", "引兵", "次日", "大喜", "天下", "东吴", "于是", "今日", "不敢", "魏兵","人马", "陛下", "一人"}
txt = open("三国演义.txt", "r", encoding="gbk").read()
words = jieba.lcut(txt)
counts = {}
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":
        rword = "孔明"
    elif word == "关公" or word == "云长":
        rword = "关羽"
    elif word == "玄德" or word == "玄德曰":
        rword = "刘备"
    elif word == "孟德" or word == "丞相":
        rword = "曹操"
    else:
        rword = word
    counts[rword] = counts.get(rword, 0) + 1
for word in excludes:
    del(counts[word])
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True)
for i in range(10):
    word, count=items[i]
    print (word, count)

excludes里面定义了一些出现次数较多但不是人名的词，这里主要语句就是 counts[rword] = counts.get(rword, 0) + 1 这一句字典类型的counts，如果word在counts中，返回word对应的值，否则返回0。后面用sort(）函数和匿名函数lambda（）进行排序，这里字典没有顺序，需要先转化为列表类型。输出结果如下：

3.导出数据文件

fo = open("三国人物出场次数.txt", "a")
for i in range(10):
    word, count=items[i]
    word = str(word)
    count = str(count)
    fo.write(word)
    fo.write(' ')
    fo.write(count)
    fo.write('\n')
    print (word, count)
print(items)
fo.close()

这里我们将数据导入到 三国人物出场次数.txt 这个文件里面。
4.将数据画出气泡图

总结

由此可知“曹操“，“ 孔明””刘备”是出场最多的人，这些只是简单的数据分析，作为此系列博客的开头篇，随着学习希望自己能实现完整用python分析四大名著。