XML 数据挖掘之考察几种 XML 数据挖掘方法
XML 日益成为很多领域数据表示、存储和交换的首选语言 — 从科学技术到金融服务、医疗系统、生物研究、航空、国防，等等。用 XML 表示的信息量急剧增加。很多人在寻找解决 XML 文档存储和分析方面问题的切实可行的技术。在这个由三部分组成的系列文章中，将探索 XML 数据挖掘的几个方面。
本文将了解对 XML 数据挖掘可用的研究和技术。探索从静态和动态 XML 文档挖掘关联规则方面的难题。
本系列的后续文章将介绍挖掘 XML 关联规则和集群化多个版本的 XML 文档。
XML 挖掘包括从 XML 文档挖掘结构和内容。结构挖掘 其实是挖掘 XML 模式，包括内部结构挖掘（挖掘 XML 文档内部的结构）和结构间挖掘（挖掘 XML 文档之间的结构）。内容挖掘 涉及内容分析和结构清理。内容分析是指分析 XML 文档中的文本。结构清理（structural clarification）是指根据内容确定类似的文档。
静态 XML 文档的内容和结构不会随时间而改变。例如，包含会议演示内容细节的 XML 文档就是一个静态文档。动态（或者多版本的）XML 文档会随着时间改变结构或内容。例如一个在线书店，如果它的内容以 XML 格式表示，就会每天随着网上客户的行为而改变。
静态 XML 文档不同于动态 XML 文档的主要特征有：
- 时间跨度的表示
- 静态 XML 文档不包含指明文档有效期的元素。相反，动态 XML 文档则至少包含一个指明特定版本文档有效期的元素。
- 所呈现信息的永久性
- 静态 XML 文档一旦创建，其中的信息就总是有效的。相反，某个版本的动态 XML 文档只在时间跨度元素指定的期间内有效。一旦出现新的版本，前一版本中包含的信息就被取代。
图 1 展示了一个 WSDL 格式的静态 XML 文档的模式示例。
图 1. 静态 XML 文档的模式
基于 图 1 中模式的 XML 文档实例的内容永远不会改变，因为一旦发布，特定会议上演示的论文就不会被修改。
图 2 展示了一个 WSDL 格式的动态 XML 文档的模式示例。
图 2. 动态（多版本）XML 文档的模式
图 2 中，<AsAtDate> 节点包含每个 XML 文档版本中数据的有效期间。不使用单个日期节点来指定有效性时间，也可以使用两个日期节点来指定有效性日期范围（例如，<from_date> 和 <to_date>）。一般来说，变更使得 XML 文档成为动态的。给定一个初始版本的 XML 文档，它的每组变更都产生一个新的 XML 文档。新的 XML 文档将被看作旧版本的新版本。
本节将回顾从静态 XML 文档挖掘关联规则以及集群化静态 XML 文档的几种方法。
从静态 XML 文档挖掘关联规则的大部分工作都使用基于 Apriori 算法的面向 XML 的算法。但是也有几种非基于 Apriori 的方法。
Apriori 算法
关联规则的概念是 1993 年引入的，并在 1994 年得到更详细的描述（参见 参考资料）。例如，有这么一个关联规则：“如果用户购买产品 A，他/她也会购买产品 B，这发生在超过 80% 的交易中。”该规则的支持度是 80%，这意味着 80% 的交易包含商品 A 和 B。
在挖掘过程的开始，用于找到关联规则的算法设置最小支持度和置信度。然后，确定所有频繁 k - 项集，从 k = 1（项集只有一项）开始，并循环通过交易集合，计算出支持度和置信度。如果针对所需的最小支持度和置信度，它们不是有效的，那么 k-项集被认为不是频繁的，并被删除。
这一算法就是所谓的 Apriori 算法，被应用于很多后续方法，以发现关联规则。
发现关联规则涉及到找到给定数据集中条目之间同时出现的重要关系。关系应该出现得足够频繁，以被看作是规则；规则必须对数据集具有支持度和置信度。
如果关联规则的概念扩展到 XML 文档，就是在寻找 XML 文档部分之间的关系。XML 文档的一部分可以是简单节点，也可以是复杂节点（由其他简单节点组成）。任何复杂节点都可以被看作较大的树（整个 XML 文档）中的一个子树。因此，从 XML 文档中挖掘关联规则需要找到 XML 文档子树（子结构）之间的关系。下面的列表概述了三种不同的方法。
- Wan 和 Dobbie 提出的一种 XML 关联规则抽取算法（参见 参考资料）实际上是 Apriori 算法的一种使用 XQuery 语言的实现。使用这种算法，XML 数据可以被直接挖掘，无需预先处理 XML 文档。无需映射到一种不同的格式。但是使用 XQuery 实现时，挖掘过程中频繁项集的发现比使用
C++实现时慢。在 XQuery 实现中，算法需要的更新功能有限。 - Daniele Braga 和同事提出的方法（参见 参考资料）基于 Apriori 算法，以三个主要步骤挖掘关联规则：预处理数据、抽取关联规则和后期处理关联规则。他们介绍了以下概念：
- 关联规则的概念
- 上下文选择
- 主体
- 头部
图 3. 具有上下文、主体和头部的 XML 文档
- Ling Feng 和同事提出的技术（参见 参考资料）不基于 Apriori 算法，提出了一种不同的将事务 和项 的概念映射到 XML 文档树型结构的方法。目标是从 XML 文档集合而不是单个文档中发现关联规则。因此，每个 XML 文档（树）都相当于一个数据库记录（事务），其中每个 XML 片段（子树）相当于事务中的一个项。此项工作试图发现 XML 文档中多个树之间而不是简单结构的项之间的关联规则。每个树被命名为一个树结构的项，是一个有根的已排序树，其节点分为：基本节点（没有边）和复杂节点（内部节点，有一条或多条边）。
基于 Apriori 和非基于 Apriori 的方法之间的主要区别在它们使用事务和项等概念的方式上。基于 Apriori 的算法通过为特定路径查询 XML 文档而抽取出将被挖掘为一系列节点的项来，非基于 Apriori 的算法将 XML 文档中的每个子树（子结构）都看作一个项。
对于所挖掘的文档，不同的算法允许不同的复杂度（不同的嵌套级别）。也有可能您需要挖掘的只是单个 XML 文档，或者是从多个 XML 文档抽取关联规则。
这里描述的基于 Apriori 的 XML 关联规则挖掘技术适用于任何复杂度的 XML 文档，只要事先知道结构则可。对于复杂且不对称结构的 XML 文档，可以考虑在 XML 数据上使用一组转换，来简化挖掘上下文的识别。在有些算法中，您需要在算法的开始定义关联规则的上下文、主体和头部。表 1 中总结了这些方法以及各自的强处和弱点。
表 1. 从静态 XML 文档挖掘关联规则
| 工作 | 基于 Apriori 的挖掘算法 | 非基于 Apriori 的挖掘算法 | 从单个 XML 文档挖掘关联规则 | 从多个 XML 文档挖掘关联规则 | 从简单 XML 文档挖掘关联规则 | 从复杂 XML 文档挖掘关联规则 |
|---|---|---|---|---|---|---|
| Wan 和 Dobbie，2003；Wan 和 Dobbie，2004 | Y | N | Y | N | Y | N |
| Braga 等，2002；Braga 等，2003 | Y | N | Y | Y | Y | Y |
| Feng 等，2003 | N | Y | Y | Y | Y | Y |
静态 XML 文档可以基于每种技术采用的相似性类型（结构的、语义的或组合的）而被集群在一起。
基于结构相似性的集群主要是基于文档结构之间的相似性将多个 XML 文档组合在集群中。结构化 方法包括：
- S-GRACE 算法（参见 参考资料）使用结构图（s-图）按结构来集群化 XML 文档。s-图是一个方向图，提供 XML 文档中节点和边的摘要，以及父节点和子节点之间的关系。S-GRACE 在从一组给定的文档中抽取的 s-图上应用一种层次集群算法。
- De Francesca 和同事提出的一种通用、聚集的层次集群算法（参见 参考资料）解决了参数方式中的 XML 集群化问题。给定一个适当的距离单位，该算法找到最佳的集群代表。集群代表 是一个镜像集群结构内容的 XML 文档。因此，任务主要是通过树匹配、树合并和已合并树的剪枝来计算集群代表。
除了结构信息之外，每个节点还有一种语义含义。您既可以基于结构相似性，也可以基于语义相似性，来集群化 XML 文档。
- Yoon 提出了一种拆散每个需要被集群化到 ePath 中的 XML 文档的方法（参见 参考资料）。ePath 是从 XML 文档根开始的完整路径，其中嵌套最深的元素只能是简单元素（包含一个值，不包含子元素）。
然后会构建一个叫做 BitCube 的三维位图索引。维度是文档列表、从文档抽取出的 ePath 列表和从所有 ePath 的简单内容抽取出的单词列表。然后当用户按特定条件搜索时，您可以从这个多维数据集（cube）确定，哪些文档具有与条件（以及其他内容）相关的单词，并加速检索过程。
- Shen 和 Wang 提供的一种技术（参见 参考资料）从 XML 文档抽取宏路径，这可能基于也可能不基于 XML 模式，其中每个宏路径都具有三个元素：一个路径序列、一个属性序列和一个内容序列。这些宏路径之间的类似度表明所分析的 XML 文档之间的类似度。
基于距离的集群化技术是结构化方法的扩展，因为它们集群化时也考虑给定 XML 文档集的结构和语义特性。基于距离的集群化技术具有一个特定的特征：它们使用树编辑距离 概念。
树编辑距离
给定两个表示为树的 XML 文档，它们之间的编辑距离是能够将一个文档转换成另一个文档且总成本最低的编辑操作集合。基于距离的集群化方法之间的区别在于每种方法为编辑树距离定义可接受的编辑操作的方式上。
- Theodore Dalamagas 和同事提出的技术（参见 参考资料）将 XML 文档看作已排序的树。他们的算法减少嵌套和重复，然后计算结构性摘要的每个部分之间的树编辑距离。集群以结构性摘要之间的距离为基础。
- Nierman 和 Jagadish 提出的方法（参见 参考资料）通过在 XML 树上使用五种不同的操作来计算两个 XML 文档之间的距离：
relabel、insert、delete、insertTree和deleteTree。最后两种操作允许 XML 文档所有部分的剪切和粘贴。允许的编辑操作序列也可由动态编程算法定义并用来计算给定文档集中 XML 文档部分之间的距离。 - 由 Xing、Xia 和 Guo 提出的一种更新的技术（参见 参考资料），通过计算 XML 文档和其模式之间的编辑距离，来计算两个 XML 文档之间的相似性。首先从每个文档中抽取出模式，然后两个 XML 文档之间的距离被计算为每个 XML 文档和抽取自另一个 XML 文档的模式之间的距离的平均值。
表 2 总结了各种集群化静态 XML 文档的方法。
表 2. 集群化静态 XML 文档
| 工作 | 计算出的距离作为一个编辑操作的集合 | 仅评估结构相似性 | 评估结构和语义相似性 | 仅评估语义相似性 |
|---|---|---|---|---|
| De Francesca 等，2003 | N | Y | N | N |
| Liang 等，2004 | N | Y | N | N |
| Yoon 等，2001 | N | N | Y | N |
| Shen 和 Wang，2003 | N | N | Y | N |
| Nierman 和 Jagadish，2002 | Y | N | Y | N |
| Dalamagas 等，2004 | Y | Y | N | N |
| Xing 等，2007 | Y | Y | N | N |
挖掘动态 XML 文档为开发人员带来了新的挑战。在实际的应用程序中，XML 文档的多个连续版本之间的区别各不相同，所以用于静态 XML 文档的挖掘技术无法复制到动态 XML 文档上。
从多版本 XML 文档发现关联规则还处于早期阶段。Weighted-FPgrowth 算法（参见 参考资料）解决了这个问题。该算法用三步从 XML structural deltas（即XSD-AR）抽取关联规则：
- 构建结构性 deltas 数据库。
- 发现常用子树模式。
- 抽取关联规则。
XML 结构性 delta 是动态 XML 文档各个连续版本之间的结构差异。Weighted-FPgrowth 算法也定义了更改度、更改频率和常用子树模式等概念。
我提出两种不同的方式来从动态 XML 文档挖掘关联规则（参见 参考资料）：
- 有趣的知识（这里是关联规则）来自 XML 文档的历史版本集合。
考虑在给定时间段内影响多版本 XML 文档的更改（包括结构和内容方面的更改）。您可以动态决定所涉及的 XML 文档的元素或子结构之间最当前的有效关联规则，无需在最新的 XML 文档版本上运行完整的发现算法。
- 关联规则抽取自 XML 文档各个版本之间的实际更改。
查看 XML 文档各个版本之间的实际更改（存储为 delta 文档或合并的 delta 文档），并找出它们之间的关联规则。
跟集群化动态 XML 文档有关的成果还不是很多。下面列出了两种方法。
- 我和同事提出的一种技术（参见 参考资料）是在集群化的动态 XML 文档更改之后重新评估它们之间的距离，并在文档更改之前计算更改对距离的影响。
- 另一种由 Nayak 和 Xu 提出的技术（参见 参考资料）是集群化 XML 文档系列。给定一个 XML 文档系列（或者流），使用级别结构 计算每个入站 XML 文档和现有集群之间的距离。这个距离通过将入站文档的节点映射到现有集群的节点而确定。这样，相似性是在集群级别而不是集群中成对的单个文档上确定的。
表 3 总结了挖掘动态 XML 文档的方法。
表 3. 挖掘动态 XML 文档
| 工作 | 从多个版本挖掘关联规则 | 从 delta 挖掘关联规则 | 集群化 XML 文档系列 | 集群化多版本（动态）XML 文档 |
|---|---|---|---|---|
| Chen 等，2004 | N | Y | N | N |
| Nayak 和 Xu，2006 | N | N | Y | N |
| Rusu 等，2006a; | Y | N | N | N |
| Rusu 等，2006b; | N | Y | N | N |
| Rusu 等，2008 | N | N | N | Y |
本文中，学习了有关 XML 数据挖掘的技术，以从 XML 文档发现关联规则或者基于结构或内容集群化 XML 文档。大部分技术只处理静态 XML 文档。但是，当今广泛可用的动态信息需要也可以处理动态（多版本）XML 文档的技术。
继续阅读本系列文章的第 2 部分，将详细介绍挖掘 XML 关联规则。
学习
- Extracting Variable Knowledge from Multiversioned XML Documents（L.I. Rusu、W. Rahayu 和 D. Taniar，2006a）：了解一种全新的技术，用于确定从初始 XML 文档发现的知识在文档的内容和/或结构发生变化时如何变化。
- Mining Changes from Versions of Dynamic XML Documents（L.I. Rusu、W. Rahayu 和 D. Taniar，2006b）：了解一种从动态 XML 文档各个版本之间的更改挖掘关联规则的方法，方式很简单，即通过使用合并的 delta 中包含的信息来挖掘。
- Intelligent Dynamic XML Documents Clustering（L.I. Rusu、W. Rahayu 和 D. Taniar，2008 年）：学习一种时间高效的技术来重新评估已更改的集群化动态 XML 文档之间的成对距离，无需执行多余的计算，只考虑事先已知的距离和会影响文档版本的更改集合。
- Data mining and XML documents（R. Nayak、R. Witt 和 A. Tonev，2002 年）：XML 挖掘的分类是通往未来 XML 挖掘研究的一个里程碑。
- Fast Algorithms for Mining Association Rules（M.H. Marzahuy 和 A.A. Mitwaly，2005 年）：探究发现销售事务大型数据库中各项之间关联规则方面的问题。为解决该问题，出现了两种根本不同于已知算法的新算法。
- Mining Association Rules from XML data（D. Braga、A. Campi、M. Klemettinen 和 P.L. Lanzi，2002 年）：回顾来自原生 XML 文档的关联规则，并讨论这一主题给数据挖掘社团带来的新的挑战和机会。
- Discovering Interesting Information in XML with Association Rules（D. Braga、A. Campi 和 S. Ceri，2003 年）：简要了解 XML 数据的关联规则。本文提出了一种新的基于 XPath 的操作符，灵感来自 XQuery 的语法，让您可以紧凑而直观地表达复杂的挖掘任务。
- Mining Association Rules from Structural Deltas of Historical XML Documents（L. Chen、S.S. Bhowmick 和 L.T. Chia，2004 年）：了解 XML 文档结构的更改序列，找出 XML 结构中的哪些子树经常一起更改。
- Clustering XML Documents by Structure（T. Dalamagas、T. Cheng、K.J. Winkel 和 T. Sellis，2004 年）：探究集群化方法的应用，用于将结构上相似的 XML 文档组织在一起。
- Distance-based Clustering of XML Documents（F. De Francesca、G. Gordano、R. Ortale 和 A. Tagarelli，2003 年）：了解一种用于集群化 XML 文档的全新技术，重点在 XML 集群代表（一个原型 XML 文档，归纳了集群中 XML 文档集最相关的特性）的概念上。
- An XML-Enabled Association Rules Framework（L. Feng、T. Dillon、H. Wiegand 和 E. Chang，2003 年）：查看一个扩展的支持 XML 的关联规则框架，它足够灵活和强大，可以表示 XML 数据中固有的简单和复杂结构的关联关系。
- An Efficient and Scalable Algorithm for Clustering XML Documents by Structure（W. Liang、D.W. Cheung、N. Mamoulis 和 S-M Yiu，2004 年）：回顾一个分层算法 (S-GRACE)，用于基于数据中的结构信息集群化 XML 文档。
- XCLS: A Fast and Effective Clustering Algorithm for Heterogeneous XML Documents（R. Nayak 和 S. Xu，2006 年）：了解一种全新的集群化算法，用于按相似的结构将 XML 文档组织在一起。
- Evaluating Structural Similarity in XML Documents（H. Nierman 和 V. Jagadish，2002 年）：了解一种基于适合该任务的度量单位的树编辑距离，考虑了诸如可选和重复的子元素之类的 XML 问题。
- Clustering Schemaless XML Documents（Y. Shen 和 B. Wang，2003）：探究从语义上集群化日益增多的无模式 XML 文档这个问题。
- Clustering XML Documents Based on Structural Similarity（G. Xing、Z. Xia 和 J. Guo，2007 年）：了解一个框架，它用于基于 XML 文档之间结构相似性集群化 XML 文档。
- Extracting Association Rules from XML documents using XQuery（J.W. Wan 和 G. Dobbie，2003 年）：看看只使用查询语言 XQuery 而不进行任何预处理或后处理，有多少 XML 文档可以挖掘关联规则。
- Mining association rules from XML data using XQuery（J.W. Wan 和 G. Dobbie，2004 年）：了解使用 XQuery 而不进行任何预处理或后处理，从 XML 文档抽取关联规则是如何做到的。分析著名 Apriori 算法的 XQuery 实现。
- XQuery：更多地了解 W3C 推荐的这个 XML Query 语言。
- BitCube: A Three-Dimensional Bitmap Indexing for XML Documents（J.P. Yoon、V. Raghavan、V. Chakilam 和 L. Kerschberg，2001 年）：了解如何使用位图索引技术来表示和索引 XML 文档集合。
- Mining Association Rules from Structural Deltas of Historical XML Documents（L. Chen、S. S. Bhowmick 和 L.T. Chia，2004 年）：看看如何从 XML 结构的更改序列挖掘一种全新类型的关联规则，这称之为 XML Structural Delta Association Rule (XSD-AR)。
- XML 新手入门获得您学习 XML 所需的资源。
- developerWorks XML 专区：在 XML 专区获取提高您的专业技能所需的资源，包括 DTD、模式和 XSLT。参见 XML 技术库，获得广泛的技术文章和技巧、教程、标准和 IBM 红皮书。
- IBM XML 认证：了解如何才能成为一名 IBM 认证的 XML 和相关技术的开发人员。
- developerWorks 技术活动 和 网络广播：随时关注这些活动中的技术。
- developerWorks on Twitter：立即加入，了解 developerWorks 上的活动信息。
- developerWorks 播客：收听面向软件开发人员的有趣访谈和讨论。
- developerWorks 演示中心：观看演示，内容包括面向初学者的产品安装和设置演示，以及为经验丰富的开发人员提供的高级功能。
获得产品和技术
- IBM 产品评估版：下载或 探究 IBM SOA Sandbox 中的在线试用产品，并开始使用来自 DB2®、Lotus®、Rational®、Tivoli® 和 WebSphere® 的应用程序开发工具和中间件产品。