词频统计

学号：2015035107112

姓名：马铭泽

我的码云仓库：https://gitee.com/mmz0217/word_frequency/blob/master/word_freq.py

1) 程序分析，对程序中的四个函数做简要说明。要求附上每一段代码及对应的说明。
第一段 读文件到缓冲区

def process_file(dst): # 读文件到缓冲区
try: # 打开文件
f = open(A_Tale_of_Two_Cities, 'r')
except IOError as s:
print(s)
return None
try: # 读文件到缓冲区
bvffer = f.read()
except:
print("Read File Error!")
return None
f.close()
return bvffer

  第二段 对缓冲区进行处理

def process_buffer(bvffer):
if bvffer:
word_freq = {}
# 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
bvffer = bvffer.lower()
for ch in '“‘!;,.?”':
bvffer = bvffer.lower().replace(ch, " ")
words = bvffer.strip().split()
for word in words:
word_freq[word] = word_freq.get(word, 0)+1 #读取到的单词存放到字典

    return word_freq




 第三段 输出词频前十的单词

def output_result(word_freq):
if word_freq:
sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
for item in sorted_word_freq[:10]: # 输出 Top 10 的单词
print(item[0],item[1])

 第四段 对之前的函数进行整合

if name == "main":
import argparse
parser = argparse.ArgumentParser()
parser.add_argument('dst')
args = parser.parse_args()
dst = args.dst
bvffer = process_file(dst)
word_freq = process_buffer(bvffer)
output_result(word_freq)