软工作业 5：结对项目之词频统计——增强功能

 一、基本信息

1、编译环境：Python3.8、Pycharm2018
     项       目：结对项目之词频统计——增强功能
     作       者： 1613072007   周   磊
                        1613072008  俞林森
2、本次作业地址：
https://edu.cnblogs.com/campus/ntu/Embedded_Application/homework/2088

 二、项目分析

1、按照作业要求将函数封装成类，以便让使用不同环境的用户

import re


class WordCount():
    def __init__(self, dst, m, n, o):  # dst:文件路径；m:每个词组长度；n:输出的单词数量；o：设定生成文件的存储路径
        self.dst = dst
        self.m = m
        self.n = n
        self.o = o

    def process_file(self):  # 读文件到缓冲区
        try:  # 打开文件
            doc = open(self.dst, 'r')
        except IOError as s:
            print(s)
            return None
        try:  # 读文件到缓冲区
            bvffer = doc.read()
        except:
            print("Read File Error!")
            return None
        doc.close()
        return bvffer

    def process_line(self):  # 统计行数
        count = 0
        for line in open(self.dst, 'r').readlines():
            if line != '' and line != '\n':
                count += 1
        return count

    def process_buffer(self,bvffer):
        if bvffer:
            word_freq = {}
            # 下面添加处理缓冲区 bvffer代码，统计每个单词的频率，存放在字典word_freq
            for ch in '“‘!;,.?”':  # 将文本内容都改为小写且除去文本中的中英文标点符号
                bvffer = bvffer.lower().replace(ch, " ")
            bvffer = bvffer.strip().split()  # strip()删除空白符；split()以空格分割字符串
            regex = "^[a-z]{4}(\w)*"
            words = []
            st = open("stop_word.txt", 'r')
            st1 = st.read()
            for word in bvffer:  # 判定是否是符合单词设定
                if re.match(regex, word):
                    words.append(word)
            for word in words:  # 获取字典
                word_freq[word] = word_freq.get(word, 0) + 1
            for key in list(word_freq):  # 删除一些常用单词
                if key in st1:
                    del word_freq[key]
            return word_freq, words

    def process_MPhrase(self, bvffer):  # 查找m个单词组成的词组
        if bvffer:
            model = ''
            for i in range(self.m):
                model += '[a-z]+'
                if i < self.m - 1:
                    model += '\s'
            result = re.findall(model, bvffer)  # 正则查找词组
            word_freq = {}
            for word in result:  # 将正则匹配的结果进行统计
                word_freq[word] = word_freq.get(word, 0) + 1
            return word_freq

    def output_result(self,word_freq):  # 输出结果
        if word_freq:
            sorted_word_freq = sorted(word_freq.items(), key=lambda v: v[1], reverse=True)
            for item in sorted_word_freq[:self.n]:  # 输出 Top 10 的单词
                print('<' + str(item[0]) + '>:' + str(item[1]))
        return sorted_word_freq[:self.n]

    def print_result(self):
        bvffer = WordCount.process_file(self)  # 文件读入缓冲区
        lines = WordCount.process_line(self)  # 计算文章的行数
        word_freq, words = WordCount.process_buffer(self, bvffer)  # 筛选出符合单词标准的单词词组
        wordslen = len(words)  # 计算出符合单词标准的单词数量
        phrase_freq = WordCount.process_MPhrase(self, bvffer)
        wordslen_show = 'words:' + str(wordslen)
        lines_show = 'lines:' + str(lines)
        print(wordslen_show)  # 显示文章单词总数
        print(lines_show)  # 显示文章的行数
        print('词频前' + str(self.n) + '单词为：')
        itemsWord = WordCount.output_result(self, word_freq)
        print('词组长度为' + str(self.m) + '的词频前' + str(self.n) + '的单词为：')
        itemsPhrase = WordCount.output_result(self, phrase_freq)
        with open(self.o, 'w+') as w:
            w.write(lines_show + '\n')
            w.write(wordslen_show + '\n')
            w.write('词频前'+str(self.n)+'单词为：' + '\n')
            # 单词的可视化输出
            for itemWord in itemsWord:
                item = '<' + str(itemWord[0]) + '>:' + str(itemWord[1]) + '\n'
                w.write(item)
            w.write('词组长度为' + str(self.m) + '的词频前' + str(self.n) + '的单词为：' + '\n')
            # 词组的可视化输出
            for itemPhrase in itemsPhrase:
                item = '<' + str(itemPhrase[0]) + '>:' + str(itemPhrase[1]) + '\n'
                w.write(item)
        print('写入' + self.o + '文件已完成！')
        w.close()

2、我们现在pycharm里试验一下能否成功统计词频

if __name__ == '__main__':
    obj = WordCount('Gone_with_the_wind.txt', 2, 5, 're.txt')
    obj.print_result()

截图：

3、测试类

import test1
import argparse
def main():
    parser = argparse.ArgumentParser(description="your script description")  # description参数可以用于插入描述脚本用途的信息，可以为空
    parser.add_argument('--i', '-i', type=str, default='Gone_with_the_wind.txt', help="读取文件路径")
    parser.add_argument('--m', '-m', type=int, default=3, help="输出的单个词组数量")
    parser.add_argument('--n', '-n', type=int, default=4, help="输出的频率前n个的单词和词组数量")
    parser.add_argument('--o', '-o', type=str, default='result.txt', help="读取文件路径")
    args = parser.parse_args()  # 将变量以键-值的字典形式存入args字典
    dst = args.i
    m = args.m
    n = args.n
    o = args.o
    obj = test1.WordCount(dst, m, n, o)
    obj.print_result()

if __name__ == '__main__':
    main();

 截图：

 

4、在Dos命令提示符中传递参数

（1）指定文本分析 -i 参数设定读入的文件路径（先前在声明中有默认值，所以不指定其他要求程序会按默认值执行）

   

 （2）指定统计词组长度为4  -m 参数设定统计的词组长度

（3）指定统计出现频率最高的2个单词   -n 参数设定输出的单词数量

 

（4）-o 参数设定生成文件的存储路径

 

（5）总结性的一次性传递所有参数 多参数的混合使用（Python_test_input.txt是自己弄的一个文本文档）

 

 

三、性能分析

 

 

四、PSP 表格 

 

五、事后分析与总结 

1、简述结对编程时，针对某个问题的讨论决策过程。

       关于cmd运行py脚本传参的问题，经过百度，找到如果在运行python脚本时需要传入一些参数，例如gpus与batch_size，可以使用如下三种方式。，这三种格式对应不同的参数解析方式，分别为sys.argv, argparse, tf.app.run, 前两者是python自带的功能，后者是tensorflow提供的便捷方式。我们使用的是argparse，优点是parser.add_argument 方法的type参数理论上可以是任何合法的类型。

2、评价：

（1）周磊对俞林森的评价：个人能力强，不遗余力参与到合作编程中，与他讨论的时候能够给我很大的启发，并且会提出代码中不足的地方，希望能与他再次合作！

（2）俞林森对周磊的评价：周磊同学对python有过接触，而我基本就是个小白，此次他编写了大部分内容，我做到尽量不拖后腿。

3、评价整个过程：关于结对过程的建议

       结对编程的过程收获颇多，我觉得结对编程有好有坏，但是好处远远大于的不好的地方。两个人难免会遇到意见不同的时候，关键是看此时如何协调、如何沟通、如何采纳。如果团队内部不能很好地处理这些分歧，那么非但不能提高效率，反而会拖慢工作的进程。如果团队协调得很好，那么两个人的力量是绝对大过一个人的。一个人的想法始终有限，两个人或者一群人合作，说不定还能擦出思想的火花。

4、结对编程照片