词频统计

学号2017 7084;
姓名:张倩,
码云仓库地址:https://gitee.com/Zq19981222/word_frequency

1.程序分析,对程序中的四个函数做简要说明。要求附上每一段代码及对应的说明。
⑴首先定义def process_file函数,将文件读到缓冲区并关闭,用open()打开文件、read()读取文件、close()关闭文件

def process_file(dst): # 读文件到缓冲区
try: # 打开文件
f1 = open(dst, "r")
except IOError as s:
print (s)
return None
try: # 读文件到缓冲区
bvffer = f1.read()
except:
print ("Read File Error!")
return None
f1.close()

return bvffer

⑵将读取出的文件放入缓冲区中,对数据进行操作,切割字符串中的符号分开单词,统计每个单词的频率,存放在字典word_freq

def process_buffer(bvffer):
if bvffer:
word_freq = {}
# 下面添加处理缓冲区 bvffer代码,统计每个单词的频率,存放在字典word_freq

    bvffer=bvffer.lower()
    for x in '~!@#$%^&*()_+/*-+\][':
        bvffer=bvffer.replace(x, " ")
    words=bvffer.strip().split()
    for word in words:
        word_freq[word]=word_freq.get(word,0)+1

    return word_freq

⑶遍历切割完的字符串,并输出统计频率Top 10 的单词

def output_result(word_freq):
if word_freq:
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词
print(item)
⑷封装main函数,

if name == "main":
import argparse
parser = argparse.ArgumentParser()
parser.add_argument('dst')
args = parser.parse_args()
dst = args.dst
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)
2.性能分析结果及改进。
指出执行次数最多的代码,执行时间最长的代码。

给出改进优化的方法以及你的改进代码

3.程序运行命令、运行结果截图以及改进后的程序运行命令及结果截图 。


此行代码为统计Top10单词 python word_freq.py Gone_with_the_wind.txt
词频统计_第1张图片

此行代码为词频分析 python -m cProfile word_freq.py Gone_with_the_wind.txt
以下为部门结果图片
词频统计_第2张图片

词频统计_第3张图片

词频统计_第4张图片

4.给出你对此次任务的总结与反思
 有些地方话不是很明白,这次作业让我加深了对自己的认识

你可能感兴趣的:(词频统计)