结队第二次作业——WordCount进阶需求

结队第二次作业——WordCount进阶需求

博客地址

051601135 岳冠宇 博客地址
051604103 陈思孝 博客地址

Github地址

具体分工

队友实现了爬虫功能，我实现了wordcount代码部分

PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	30	35
· Estimate	· 估计这个任务需要多少时间	30	35
Development	开发	910	870
· Analysis	· 需求分析 (包括学习新技术)	60	70
· Design Spec	· 生成设计文档	20	30
· Design Review	· 设计复审	10	10
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	20	20
· Design	· 具体设计	50	30
· Coding	· 具体编码	700	650
· Code Review	· 代码复审	30	50
· Test	· 测试（自我测试，修改代码，提交修改）	20	30
Reporting	报告	120	130
· Test Repor	· 测试报告	90	90
· Size Measurement	· 计算工作量	0	0
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	30	40
	合计	1060	1035

解题思路与设计实现

• 爬虫实用

  因为之前学过python，知道用python做爬虫很方便，于是就用python写了一个小程序爬取论文信息。
  核心模块是BeautifulSoup，用来处理网页的信息和爬取需要的内容
  思路：先得到论文主页的网址，根据网页的源代码信息获得每篇论文的地址，再分别分析每个网页的源代码，定位标题标签和摘要标签，然后爬取信息，写入文件。
  homeurl="http://openaccess.thecvf.com/CVPR2018.py"
  file = urllib.request.urlopen(homeurl).read()
  page = BeautifulSoup(file , "html.parser")
  得到主页的网页内容，并转码。
  for link in page.find_all("dt",class_="ptitle"):
  uuu=link.find('a')
  url=str(uuu.get('href'))
  定位每篇论文的网址，需要注意的是从网页源代码得到的网址不能直接用，要在前面加上http://openaccess.thecvf.com/才是完整的网址。
  title = re.findall('
  \n\s (.?)\n\s
  ',page1.decode('utf-8'),re.S)
  abstract=re.findall('
  \n\s(. ?)\n\s
  ',page1.decode('utf-8'),re.S)
  通过正则表达式定位和提取标题和摘要信息
  最后写入文本文件，值得注意的是我们我们爬取的信息的格式是utf-8，但是记事本写入的默认格式是GBK，有些英文是不能识别的，会报错，
  f=open(r'C:\Users\csxcs\Desktop\result.txt','w',encoding='utf-8')
  打开文件时要设置一下。
  爬取过程如下，运行..py程序即可，可能是网络问题，打开网页的速度很慢，爬取所有的论文也需要一段时间。
  
  

代码实现

• 代码组织与内部实现设计（类图）
  
  

• 代码的关键与关键部分流程图
  处理新增权重的要求
  先定位title和abstract标签的位置，设置flag。遇到title，flag置为1，并且w=1，后面的统计单词权重置为10，遇到abstarct，flag置为0。
  

  关键代码解释

    int wordcnt = 0;
    int k, i, j, x=1, y=1;
    if (bo == 1)
        y = 10;
    char p,m;
    while (!feof(fp))
    {
        char c = getc(fp);
        if ((c >= 'a'&&c <= 'z') || (c >= 'A'&&c <= 'Z'))//可能是单词 
        {
            k = 0;//从第0位开始判断
            while ((c >= 'a'&&c <= 'z') || (c >= 'A'&&c <= 'Z') || (c >= '0'&&c <= '9'&&k >= 4))//继续后几位的验证 
            {
                if (c >= 'A'&&c <= 'Z')//大写改小写
                {
                    c = c + 32;
                }
                temp.s[k] = c;
                 m = temp.s[k];
                k++;//下一位

                c = getc(fp);
                p = c;
                if (c == ':'&&m == 'e')
                    temp.bl = y;
                if (c == ':'&&m == 't')
                    temp.bl = x;//改变权重
    
            }
            temp.s[k] = '\0';//结束标识 
            k++;//此词位数+1

            j = n;

            if (strlen(temp.s) >= 4)//确保大于4位英文字母 
            {
                wordcnt++;//词频置1
                if (temp.bl == y)
                    temp.frq = y;
                if (temp.bl == x)
                    temp.frq = x;
｝

性能改进及分析

可以看出，时间主要消耗在了创建数组上，而且整个代码效率不高。

改进思路

可以用链表STL map工具来实现这次作业，效率能高很多，而且对空间的利用恰到好处

单元测试

对实现的每个功能模块进行单元测试，assert断言判断正确与否，同一个模块用不同的文本测试。

遇到的代码模块异常或结对困难及解决方法

• 问题描述
  我使用数组来实现主要功能，后来发现不知道材料具体长度只能创建的足够大，浪费了很多空间和时间，还有可能越界。
• 解决方案
  使用链表和STL map可以使整个代码优化很多。
• 体会
  写代码对制定算法大方向和使用的数据结构要进行深刻的分析。

贴出Github的代码签入记录

学习进度条

评价队友

行动力强，是个大佬。

转载于:https://www.cnblogs.com/ygyn/p/9775936.html