Python 红楼梦的字频与词频统计

Python 红楼梦的字频与词频统计

• 使用jieba分词工具分词，在网上下载了一个停用词表（包括标点符号）去除停用词。
• 使用wordcloud生成词云。
• 其实除了停用词，程度词与否定词等也应该去除，但没有找到合适的词表。

---

字频：

字符 字频

了 13993
的 9862
不 9439
一 8160
道 7271
来 7189
人 6626
我 6204
是 6145
说 6108
这 5204
他 5193
你 5004
儿 4756
着 4105
去 4006
个 3983
也 3933
子 3896
玉 3877
有 3738
宝 3733
又 3677
们 3321
笑 3285
里 3084
贾 3005
只 2962
那 2932
见 2930
上 2594
好 2555
姐 2504
太 2466
家 2447
在 2401
就 2368
么 2363
便 2247
大 2219
头 2149
日 2113
听 2054
出 2051
得 2019
老 1994
下 1945
要 1866
都 1844
回 1800
知 1762
二 1755
两 1660
过 1635
还 1618
事 1580
自 1536
如 1536
话 1516
心 1502
小 1491
起 1483
看 1473
没 1448
因 1440
母 1425
凤 1407
忙 1400
之 1382
呢 1370
叫 1366
今 1353
面 1350
时 1344
些 1308
娘 1300
可 1292
等 1259
问 1242
奶 1195
什 1175
到 1165
才 1158
中 1135
吃 1123
和 1118
罢 1075
此 1034
打 1023
想 1008
夫 992
倒 989
正 950
别 949
给 937
黛 931
进 927
几 913

词频：

DataFrame就不贴在这了

前80回：

后40回：

# 如果您需要使用此代码，os.chdir路经需要指定到txt文本所在路径
# 使用Zipin函数，需要txt有read()函数可以打开的正确的编码格式
# 使用Cipin函数需要安装jieba库
# 使用word cloud函数需要安装wordcloud与matplotlib库
import os
import codecs
import jieba
import pandas as pd
from wordcloud import WordCloud
from scipy.misc import imread
import matplotlib.pyplot as plt
os.chdir("/Users/Zhaohaibo/Desktop")

class Hlm(object): 

    # —————————————————————
    # Zipin(self, readdoc, writedoc)
    # readdoc: 要读取的文件名
    # writedoc:要写入的文件名

    # output
    # 字频前100，并写入writedoc
    # —————————————————————
    def Zipin(self, readdoc, writedoc):
        word_lst = []
        word_dict = {}       
        exclude_str = "，。！？、（）【】<>《》=：+-*—“”…" 
        with open(readdoc,"r") as fileIn ,open(writedoc,'w') as fileOut:

            # 添加每一个字到列表中
            for line in fileIn:
                for char in line:
                    word_lst.append(char)

            # 用字典统计每个字出现的个数       
            for char in word_lst:
                if char not in exclude_str:
                    if char.strip() not in word_dict: # strip去除各种空白
                        word_dict[char] = 1
                    else :
                        word_dict[char] += 1

            # 排序x[1]是按字频排序，x[0]则是按字排序
            lstWords = sorted(word_dict.items(), key=lambda x:x[1],  reverse=True) 

            # 输出结果 (前100)
            print ('字符\t字频')
            print ('=============')
            for e in lstWords[:100]:
                print ('%s\t%d' % e)
                fileOut.write('%s, %d\n' % e)


    # —————————————————————
    # Cipin(self, doc)
    # doc: 要读取的文件名

    # return:
    # 词频表（DataFrame格式）
    # —————————————————————
    def Cipin(self, doc):
        wdict = {}
        f = open(doc,"r")
        for line in f.readlines():
            words = jieba.cut(line)
            for w in words:
                if(w not in wdict):
                    wdict[w] = 1
                else:
                    wdict[w] += 1                
        # 导入停用词表
        stop = pd.read_csv('stoplist.txt', encoding = 'utf-8', sep = 'zhao', header = None,engine = 'python') #sep:分割符号（需要用一个确定不会出现在停用词表中的单词）
        stop.columns = ['word']    
        stop = [' '] + list(stop.word) #python读取时不会读取到空格。但空格依旧需要去除。所以加上空格； 读取后的stop是series的结构，需要转成列表
        for i in range(len(stop)):
            if(stop[i] in wdict):
                wdict.pop(stop[i])

        ind = list(wdict.keys())
        val = list(wdict.values())
        ind = pd.Series(ind)
        val = pd.Series(val)
        data =  pd.DataFrame()
        data['词'] = ind
        data['词频'] = val
        return data

    # —————————————————————
    # Ciyun(self, doc)
    # doc: 要读取的文件名

    # output: 
    # 词云图
    # —————————————————————
    def Ciyun(self,doc):
        g = open(doc,"r").read()
        back_pic = imread("aixin.jpg")  # 设置背景图片  
        wc = WordCloud( font_path='/System/Library/Fonts/STHeiti Medium.ttc',#设置字体  
                          background_color="white", #背景颜色  
                          max_words=2000,# 词云显示的最大词数  
                          mask=back_pic,#设置背景图片  
                          max_font_size=200, #字体最大值  
                          random_state=42,  
                         ).generate(g)   
        plt.figure(figsize=(64,32))
        plt.imshow(wc)
        plt.axis('off')
        plt.savefig("ciyun.jpg")
        plt.show()


    def main(self,readdoc):
        # self.Zipin(readdoc,writedoc)
        df = self.Cipin(readdoc)
        #self.Ciyun(readdoc)
        return df


if __name__ == '__main__':
    hlm = Hlm()
    hlm.Zipin("红楼梦.txt","红楼梦字频.txt")
    df_hlm1 = hlm.main("红楼梦.txt")