网页数据抓取系统解决方案

1.引言
项目背景
在互联网络的时代，信息如同大海般没有边际。甚至我们获取信息的方法已经发生改变：从传统的翻书查字典，继而变成通过搜索引擎进行检索。我们从信息匮乏的时代一下子走到了信息极大丰富今天。
在今天，困扰我们的问题不是信息太少，而是太多，多得让你无从分辨，无从选择。因此，提供一个能够自动在互联网上抓取数据，并自动分拣、分析的工具有非常重要的意义。
 
我们通过传统的搜索引擎所获得的信息，通常是通过网页的形式所展现的，这样的信息人工阅读起来自然亲切，但计算机却很难进行加工和再利用。而且检索到的信息量太大，我们很难在大量的检索结果中抽取出我们最需要的信息。

本方案中所涉及的数据聚合系统正是由此而生。该系统根据一定的规则，在指定的网站中进行信息抓取，并将抓取到的结果分析、整理后保存在结构化数据库中，为数据的再次利用提供准备。

中华英才网是著名的大型招聘类网站。为了对招聘市场的整体容量进行全面、细致了解，帮助中华英才网全面了解其他竞争对手的情况，为市场人员提供潜在的客户信息，我们特提供该解决方案。

任务和目的
杰软公司和中华英才网合作开发数据自动聚合系统，通过该系统从互联网上获取开放的信息资源，并对信息进行分析、处理和再加工，为中华英才网的市场营销部门提供准确的市场信息资源。

2.方案设计原则
在我们进行系统方案设计时充分考虑到了如下两个原则，并将始终贯穿于设计和开发过程中：

系统的准确性
该系统需要从互联网络这个巨大的信息海洋里获取信息，如何保证其所抓取的信息的准确性、有效性，是评价整个系统价值的关键因素。因此，我们除了需要对抓取的信息进行分拣、分析外，当目标网站的内容、格式发生变化时，能够智能感知，并及时的通报、调整也是确保系统准确性地重要手段。

系统的灵活性
尽管该系统是针对少数用户提供服务的、对固定站点进行监测的内部系统，但仍然需要具备一定的灵活性和较强的可扩展性。
因为目标站点的结构、层次、格式是不断变化的；而且本系统需要抓取的目标站点也在不断的调整；因此该系统必须能够适应这种变化，在抓取的目标发生变化时，系统能够通过简单的设置或调整就能够继续完成数据聚合任务。

3.解决方案：
1.功能结构图


2.定义格式，编制脚本
首先，我们需要根据需要抓取的目标网站的特点，编制抓取的脚本（格式）。包括：
目标网站的URL路径；

用什么样的方法获取数据？可以用模拟查询功能的方法（手工检测查询页面提交的参数，并模拟提交）；也可以通过序列号从头到尾进行遍历（需要找出当前最大的序列号值）；
针对每个网站的特点进行编制（标准、脚本）；

3.抓取数据
系统所提供的耙子程序会根据预先定义好的XML格式执行数据抓取任务，为防止目标网站的侦测程序发现，我们建议将抓取到的页面直接保存，然后再作处理。而不是在获得信息后立即加以处理，这对于提高抓取的效率和保留第一手的资料都是非常有价值的。
通过定义好的脚本模拟登录；
对下拉列表中的查询项，用循环遍历列表中的每一个值。并对查询出结果的页面进行模拟翻页操作，获得其所有的查询结果；
如果职位库或企业名录库是使用自增性的整数作为其唯一标示的ID，那么我们可以想办法获得其最大值，然后通过遍历的方法将其全部抓取下来；
定期执行抓取操作，并对抓取到的数据进行增量保存；

4.简单分析
在外网的服务器上对采集到的数据进行简单的分析、处理，其内容主要包括：

结构化数据：将获取到的数据结构化，可以便于未来的数据传递，也便于下一步的排重、排错检查任务。

排除重复；在用模拟查询的方法进行遍历的时候，系统所抓取到的数据一定会出现重复。由于重复数据会造成重复的分析处理过程，不但占用了系统的资源，使得系统的处理效率变低，也给系统带来大量的垃圾数据。为了避免大量重复、冗余的数据出现，我们首先要作的处理工作就是排重。

排除错误；由于目标站点的内容、结构、格式的调整，会造成系统抓取失败，或抓取到大量的错误信息，在排除这些误抓的信息的同时，我们通过对数据错误率的判断，可以获得目标站点是否已经变更的信息，及时向系统发出预警通知。

5.数据传回内部
系统将处理完成的数据通过Web Service发回企业内部。唯一需要考虑的就是如何实现增量更新，否则每天大量的数据全部更新到本地数据库会造成网络的阻塞。

6.数据分析
这里的数据分析和前面所描述的，在远端的服务器上所做分析操作不太相同，后者是为了简单、有效的过滤数据，防止数据冗余而造出的处理速度过慢或网络阻塞等问题；而前者则是为了给未来的人工确认提供方便，有效的帮助市场人员进行快速人工分拣。具体如下：
l按照地域区分；
l按照准确程度进行划分；帮助用户优先处理哪些有效性较高的信息；
l按照发布职位的数量进行划分；
l记录每一个企业所发布职位的变化过程；

7.人工确认
这部分的重点在两个方面：
1、提供友好的人机界面，让人工对这些信息进行确认；
2、和英才网的职位库进行比对，将其中的差异部分提取出来，供人工确认：
通过和市场人员的交流、沟通，了解他们所关注的信息，按照他们所期望的方式提供数据，完成人工确认工作。

8.统计汇总
汇总统计功能也是数据聚合系统的重要组成部分，该系统将提供如下类型的统计汇总功能：

以网站为单位，对各网站日新增的企业、职位等信息进行统计；
对大型企业进行跟踪，统计其在各个网站上发布的信息职位的记录；
以时间为单位，按日、周、月对各种信息进行统计汇总；
按照地域、企业、职位进行统计汇总；
其他；

模拟统计汇总界面

【引用 http://www.cbinews.com/solution/news/2528.html】