Python文本词频统计（对三国演义进行人物出场频率的统计）

jieba：优秀的中文分词第三方库
ThreeKingdoms.txt（三国演义.txt）：https://python123.io/resources/pye/threekingdoms.txt

代码1：

# CalThreeKingdomsV1.py
import jieba
txt = open("ThreeKingdoms.txt", encoding="utf-8").read()    # 打开文件
words = jieba.lcut(txt)                                     # 分词
counts = {}                                                 # 建字典
for word in words:
    if len(word) == 1:
        continue
    else:
        counts[word] = counts.get(word, 0) + 1              # 判断名字是否在字典中存在，存在则值加1，否则值为1
items = list(counts.items())                                # 列表化
items.sort(key=lambda x: x[1], reverse=True)                 # 排序，默认从小到大，reverse反序输出
for i in range(20):                                         # 输出前20名的词
    word, count = items[i]
    print("{0:<10}{1:>5}".format(word, count))

结果：

曹操          953
孔明          836
将军          772
却说          656
玄德          585
关公          510
丞相          491
二人          469
不可          440
荆州          425
玄德曰         390
孔明曰         390
不能          384
如此          378
张飞          358
商议          344
如何          338
主公          331
军士          317
吕布          300

Process finished with exit code 0

很明显输出的结果中有些不是人名，需要去掉；还有一些名字指的是同一个人，需要合并，所以就有了

代码2：

# CalThreeKingdomsV2.py
import jieba
txt = open("ThreeKingdoms.txt", encoding="utf-8").read()
excludes = {"将军", "却说", "荆州", "二人", "不可", "不能", "如此", "商议", "如何", "军士", "主公", "左右", "军马",
            "次日", "引兵", "大喜"}     # 多次运行代码，找出那些不是人物名的词
words = jieba.lcut(txt)                               # 分词
counts = {}                                           # 建字典
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":        # 合并同一个人的名词
        r_word = "孔明"
    elif word == "关公" or word == "云长":
        r_word = "关羽"
    elif word == "玄德" or word == "玄德曰":
        r_word = "刘备"
    elif word == "孟德" or word == "丞相":           # 暂且先认为所有的“丞相”都是指“曹操”
        r_word = "曹操"
    else:
        r_word = word
    counts[r_word] = counts.get(r_word, 0) + 1      # 统计词频
for word in excludes:
    del counts[word]                                # 删掉非人的词
items = list(counts.items())
items.sort(key=lambda x: x[1], reverse=True)        # 排序，反序输出
for i in range(8):                                 # 输出前8名
    word, count = items[i]
    print("{0:<10}{1:>5}".format(word, count))

结果：

曹操         1451
孔明         1383
刘备         1252
关羽          784
张飞          358
吕布          300
赵云          278
孙权          264

Process finished with exit code 0