团队博客作业Week3 --- 项目选择&&需求疑问

项目选择


 

  经过团队内所有成员一致探讨,我们团队选择完善和改进之学霸系统的第二个子模块,即:网站内容结构定义和数据处理具体的要求如下:(摘自Xueba系统项目需求)

 

网站内容结构定义和数据处理(Content schema definition & Content Pipeline

  • 定义在线教学问答网站需要的内容结构, 并从爬到的内容中抽取元数据 (meta data),  并支持标签, 翻译等功能。
  • 定义在线问答网站的内容结构,找出其中涉及的实体及它们之间的关系;
  • 支持增量式的将输入的新数据,按照定义好的内容结构合并到已有的内容中(重复内容怎么处理,更新内容怎么处理,用户上传内容怎么处理);
  • 支持标签;
  • 支持关键词翻译;
  • 制作一个界面来跟踪和报告数据处理的进度。

  从第一步收集到的网页中, 抽取关键词, 作中英翻译等, 把数据和元数据存入数据库中 (目前用SQL 数据库存储,如需采用其他的数据库,需要跟爬虫和在线系统团队协商)

 

需求疑问


 

在细化项目需求的时候有如下的几个问题:

  1. 对于“网站内容结构的定义”具体是指哪一个方面,这个概念比较模糊,而且在Teacher的问题描述中谈到的是“定义在线问答网站的内容结构,找出其中涉及的实体及它们之间的关系”,这是指网页的前端的设计还是指网站路由的设计?
  2. 由于我们是要采用第一个模块的成果,包括他们团队爬取到的数据,然而他们爬取到的数据是各种各样的(网页、论文、讲演稿、技术文档、视频、问答等等),我们的工作是针对诸如论文,演讲稿等文本类元数据进行数据处理?还是需要比如将视频资料也进行定义,比如:关键词提取,标签等?
  3. Teacher要求要有一个界面来跟踪和报告数据处理的进度,然而这可能会有两种考虑,其一、可能需要预先将爬取的数据分类、提取关键词、贴标签、然后存到数据库中,这样感觉进度报告可能不是服务于用户的,而只是服务于系统管理员来进行数据处理进度的追踪和度量。其二,另外一个考虑是用户直接交互,在数据库中最新提取到的数据可能没有来得及进行相关处理,在用户查询相关内容时候不能立刻呈现给用户,需要即时的进行数据处理,然而此时的界面反映给用户来知悉数据处理进度的,希望Teacher能对于这一问题给予进一步细化。

转载于:https://www.cnblogs.com/cheneygroup/p/4894723.html

你可能感兴趣的:(团队博客作业Week3 --- 项目选择&&需求疑问)