A Survey of Web Information Extraction Systems——web信息抽取系统研究现状(一)

这一篇是信息抽取领域2006年比较权威的综述。其实本来翻译了2002年的一篇综述,那个字数比较少,不过一时蛋疼,把这个也搞了算了。

本人中文英文都很烂,这个基本上是google自动翻译的水准,为了造福与我双语一样烂的后人放在这里。有离谱的地方请“自主规制”。原文全文共18页,大概80000印刷符号,今天半夜翻译了2500汉字。

错误的地方请指出,转载请注明出处,谢谢。

 

A Survey of Web Information Extraction Systems

Chia-Hui Chang, Mohammed Kayed, Moheb Ramzy Girgis, Khaled Shaalan

 

web信息抽取系统研究现状   译/Matrox

 

摘要


     Internet为用户提供了大量格式化的信息,但这也为从不同的信息源中提取相关联的数据带来困难。因此,利用健壮、灵活的信息抽取(IE)系统将web页面转化为对程序友好的结构化数据(如:关系型数据库)愈发变得必要。尽管多种web信息抽取技术已经迅速发展,对这些技术的比较工作却很有限。遗憾的是,由于不同的抽取工具针对的任务不同,只有个别情况下它们得到的结果才能直接进行比较。本文考察了主流的web信息抽取方式,并从三个方面对他们进行比较:工作域,自动化程度,和技术手段。第一个判断标准揭示了为何IE系统不能处理一些特殊结构的网站。第二个从底层技术上对IE系统进行了分类。第三个标准度量了IE系统的自动化程度。我们认为这些判断准则可以定性的评估不同种类的信息抽取技术。

 

关键词——信息抽取,web挖掘,包装器,包装器归纳

 

1介绍

     万维网的爆炸式发展带来了海量的信息来源。然而,由于网络信息来源的异质性,并缺乏结构,浏览与搜索这个巨大信息集合的方式却很有限。成熟的web挖掘系统,比如购物机器人,需要大量的人工维护来处理不同的数据格式。为了将网页转化为结构化数据,研究人员在信息抽取(IE)领域投入了大量的精力。与信息检索(IR)领域不同,后者只关心如何从文档集中辨别相关联的文档,而前者要从文档中提取结构化数据以备“后处理”,这对许多web挖掘应用和检索工具来说至关重要。

     从形式上看,一项信息抽取任务是由它的输入内容和抽取目标决定的。输入内容可以是由自然语言(见图1)书写的文本,或是网上普遍的半结构化文档,比如表格或清单(见图2)。信息抽取的目标可以是一个关系K元组(K是记录的属性数目),或是具有复杂层次结构的数据对象。对于一些IE任务来说,记录的属性可能为空也可能具有多个实例。当多个属性的排列顺序有变化或者出现排版错误时,信息抽取任务的难度就会急剧升高。

     信息抽取工具通常被称为提取器(extractor)或包装器(wrapper)。包装器起初指的是信息集成系统的一个组件,它为多个数据源提供了统一的查询接口。在信息集成系统中,一个包装器通常“封装”了一个信息源(如一个数据库服务器,或一个web服务器),这样信息集成系统可以访问信息源的同时不改变它的核心查询代码。当信息源是web服务器时,包装器通过HTTP协议收集页面,从HTML文档中提取信息,再与其他数据源整合。在这三个过程中,信息抽取得到了最多的关注,于是有时用包装器来指代整个信息抽取程序。总之,包装器与提取器这两个词均可用来描述信息抽取程序。

 

     包装器归纳(WI)或信息抽取(IE)系统是用来生成包装器的工具。一个包装器通常匹配一个特定模式(如一个有限状态机),这个模式依赖于一个抽取规则集合。为了一个新的需求定制的WI系统规模各不相同,这取决于所抽取的文本类型,任务域,和情景(scenario)。为了增强复用性并减少维护的工作量,设计可训练的WI系统已经成为一些研究领域的重要课题,如信息理解、机器学习、数据挖掘等等。本文中所指的信息抽取任务与传统的信息抽取工作有很大的不同,后者的目标仅是从无结构文本中提取数据,而前者要处理半结构化的网络文档,并且通常是在服务器端自动运行。因此,传统的信息抽取工作主要利用自然语言处理技术,如词典、语法等来开发句法模式,而web信息抽取则使用机器学习、模式挖掘等技术找出基于模板的文档的结构。

 

     本文仅探讨应用于web的半结构化文档的抽取工作。我们将用三个自定义的标准来比较流行的WI系统。本文结构组织如下。第2节介绍WI系统分类的相关工作,其中简述了用于评估WI系统的三个指标。第3节详细介绍了每个评测标准。第4节概述了现在流行的IE工具,并通过一个可执行的样例来方便理解。第5节从三个方面比较分析了前述的IE工具。第6节给出结论。

 

2.相关研究

 

近年来许多技术被应用于信息抽取中,如机器学习,模式识别等。它们的自动化程度各不相同。本节中我们主要概述了前人所提出的IE工具分类方法。

 

信息理解会议(MUCs)促进了早期IE技术的发展。文本的信息抽取主要包含五方面的工作,包括命名实体识别,共指消解,模板元素创建,模板关系创建,和情节模板生成等。MUCs对于IE领域的意义在于其促使研究人员将IE技术分为两个不同的方向:MUC方法(例如:AutoSolg [1], LIEP [2], PALKA [3], HASTEN [4], and CRYSTAL [5]),和后MUC方式(例如: WHISK [6], RAPIER [7], SRV [8], WIEN [9], SoftMealy [10] and STALKER [11])。

 

Hsu and Dung [10] 将包装器分为4类:用传统程序语言人工创建的包装器,特殊设计的包装器语言,基于启发式算法的包装器,和包装器归纳工具。Chang [12] 延续了这种分类方式,并以用户的观点从自动化程度的角度比较了不同的WI系统。他将IE工具分为4类,人工创建的,人工标注的,非标注的,和半监督的系统。

  
RISE(用于IE任务的在线资源库)网站的维护者Muslea根据输入文档的类型与抽取模式的结构将IE工具分为3类[11].第一类工具用来抽取自由文本,其抽取模式是基于语义或句法约束的。第二类被称为包装器归纳系统,它抽取的对象是诸如HTML页面的在线文档,依靠基于分界符的抽取规则。最后一类也作用于在线文档,但是抽取模式同时包括分界符与语义或句法约束。

 

Kushmerick将众多IE工具分为两大类:有限状态式的与关系学习式的[13]。有限状态式的抽取规则从形式上等同于正则语言或自动机,如WIEN, SoftMealy和 STALKER。而关系学习式的抽取规则本质上是类人工智能的逻辑程序,如SRV, Crystal, WebFoot [14], Rapier 和 Pinocchio [15]。

 

Laender提出了按照生成包装器的技术手段进行分类的方法,包括包装器归纳语言[16](例如 Minerva [17], TSIMMIS [18] 和 WebOQL [19]),以HTML为中间件的工具(e.g., W4F [20], XWrap [21] 和RoadRunner [22]),基于自然语言处理的工具(e.g., WHISK, RAPIER 和 SRV),包装器归纳工具(例 WIEN, SoftMealy and STALKER),基于模型的工具(例NoDoSE [23] 和 DEByE [24],[25]),基于本体的工具(例 BYU[26])。Laender通过下面7个特征来比较这些工具:自动化程度,对复杂对象的支持,页面内容,是否包含用户界面,是否支持非HTML数据源,弹性(resilience),和适应性。

 

Sarawagi根据抽取任务的种类将HTML包装器分为3类[27]。第一种是记录级的包装器,利用规律寻找记录间的分隔符,然后从一个页面的列表中抽取同类记录。第二种是页面级的包装器,从多种记录中提取元素。最后一种是站点级的包装器,将同一个网站的页面填入数据库。

 

Kuhlins 与 Tredwell 将用于生成包装器的库分为两个基本类型,商用的与非商用的[28]。他们也从其他特征来进行对比:如输出方法,接口类型,网页抓取能力和用户界面支持。

本文从三方面来评估IE系统。第一个方面由以下几点:Muslea的关于自由文本抽取和在线文档抽取的分类,Sarawagi的3级按任务类型的抽取分类,和对非HTML文档的支持程度。这方面主要涉及IE任务的困难程度和工作域。第二个方面是关于IE系统的基本技术手段,包括正则表达式和类人工智能逻辑规则,与确定的有限状态置换器或隐马尔可夫模型等。最后一个方面是关于程序的自动化程度,包括相关程序员的类别,是否需要训练,和是否需要标注等。这三个方面将在下一节讨论。

你可能感兴趣的:(翻译,web,工具,文档,自然语言处理,ie,任务)