利用python实现对一个文本文件的词频统计功能

一、程序分析，对程序中的四个函数做简要说明

1、读文件到缓冲区

def process_file(dst):     # 读文件到缓冲区
    try:     # 打开文件
        f = open(dst, 'r')
    except IOError as s:
        print(s)
        return None
    try:     # 读文件到缓冲区
        bvffer = f.read()
    except:
        print("Read File Error!")
        return None
    f.close()
    return bvffer

2、处理缓冲区

def process_buffer(bvffer):
    if bvffer:
        word_freq = {}
        # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
        bvffer = bvffer.lower()
        for ch in '“‘!;,.?”':
            bvffer = bvffer.lower().replace(ch, " ")  #将所有字母转换成小写，便于统计
        words = bvffer.strip().split()         #strip消除空白符，split以空格作为单词分界
        for word in words:
            word_freq[word] = word_freq.get(word, 0)+1  #读取到的单词存放到字典
        return word_freq

3、输出词频前十的单词

ef output_result(word_freq):
    if word_freq:
        sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
        for item in sorted_word_freq[:10]:  # 输出 Top 10 的单词
            print(item[0], item[1])

4、主函数main对之前的方法进行整合

if __name__ == "__main__":
    dst = "A_Tale_of_Two_Cities.txt"
    bvffer = process_file(dst)
    word_freq = process_buffer(bvffer)
    output_result(word_freq)

 

二、代码风格说明

在Python3中，Python 2 的 print 声明已经被 print() 函数取代了，例如：

python2：print "Read File Error!"

python3：print("Read File Error!")，python3中print函数必须带括号，否则会出错。

 

三、运行结果截图

对《双城记（A Tale of Two Cities）》进行词频统计

 

 

四、性能分析

将主函数部分改为性能分析代码

if __name__ == "__main__":
    cProfile.run("main()", "result")
    # 把分析结果保存到文件中,不过内容可读性差...需要调用pstats模块分析结果
    p = pstats.Stats("result")  # 创建Stats对象
    p.strip_dirs().sort_stats("call").print_stats()  # 按照调用的次数排序
    p.strip_dirs().sort_stats("cumulative").print_stats()  # 按执行时间次数排序
    p.print_callees("process_buffer")  # 查看process_buffer()函数中调用了哪些函数

运行时间：

代码执行次数：

 

转载于:https://www.cnblogs.com/Eudemines/p/9764409.html