YAGO是什么？

YAGO是一个基于链接数据库的开放语义知识库，由德国马普研究所与巴黎电讯科技大学于2007年联合开发，基于Creative Commons Attribution协议。其主要特点是从Wikipedia、WordNet和GeoNames等来源提取事实，形成了一个包含丰富语义信息的知识库。

YAGO的数据规模庞大，包含约5亿个实体和20亿条事实，这些事实可以在时间和空间上进行锚定。此外，YAGO还具有预定义的模式、关系和逻辑约束，使其成为一个结构化且“合理”的知识库。与DBpedia相比，YAGO不仅包含更多的实例（5亿个），还通过自动生成的方式补充了DBpedia中缺失的部分。

YAGO的知识库支持多种输出格式，包括TSV和RDF/Turtle，并且可以通过简单的文本文件存储内部数据。它还可以直接连接到DBpedia云知识库，并在多个项目中提供支持，例如SUMO Ontology、DBpedia计划和Freebase等。

YAGO是一个广泛使用的本体，其数据量大、事实信息丰富，对知识图谱的构建和分析具有重要价值。

YAGO是一个由德国马普学会（Max Planck Institute）开发的大型语义知识库，其构建过程涉及从多个来源提取事实，并通过一系列规则和算法进行整合和优化。以下是YAGO从Wikipedia、WordNet和GeoNames等来源提取事实的详细过程：

1. 从Wikipedia提取事实：

   • YAGO首先从维基百科的Infobox和类别系统中提取实体和关系信息。Infobox通常包含关于实体的具体信息，如出生日期、地点等，而类别系统则提供了实体的分类层次结构。
   • YAGO利用规则和启发式方法对这些信息进行处理，例如通过类型推断（Type Inference）将实体分类到适当的类别中。例如，“Elvis Presley”被分类为“American Rocker”，这与WordNet中的“American Rocker”同义词相关联。
   • 在提取过程中，YAGO会进行一致性检查，确保提取的事实符合语义约束和功能约束。例如，如果某个事实与已知的类别或关系冲突，则会被过滤掉。

2. 从WordNet提取词汇定义和分类体系：

   • WordNet是一个英语词汇的语义网络，提供了丰富的词汇定义和分类体系。YAGO将WordNet的分类体系与维基百科的类别系统进行映射，从而构建了一个复杂的类别层次结构。
   • YAGO通过将维基百科的类别与WordNet的Synset（概念集）进行匹配，实现了语义上的统一。例如，“canadian poet”被映射到WordNet中的“Canadian Poet”同义词子网。
   • 这种映射不仅增强了YAGO的语义覆盖范围，还提高了其准确性。根据手动评估，YAGO的事实准确率约为95%。

3. 从GeoNames提取地理实体：

   • GeoNames是一个包含地理实体（如城市、国家、山脉等）及其详细信息的数据库。YAGO通过从GeoNames中提取地理实体及其属性（如经度和纬度），扩展了其对空间数据的支持。
   • YAGO使用精确匹配算法将GeoNames中的地理实体与维基百科中的实体进行关联。例如，如果某个地理实体在维基百科中被提及，则会将其纳入YAGO的知识库。

4. 整合和优化：

   • YAGO通过手工定义的关系模板（如“wasBornOnDate”、“locatedIn”等）将从不同来源提取的事实整合为三元组（S-P-O）。这些关系模板为YAGO提供了语义上的清晰性和一致性。
   • 在整合过程中，YAGO会进行多次过滤和检查，以确保数据的质量和一致性。例如，通过重复检查和去重步骤，YAGO能够显著提高最终知识库的准确性。

5. 扩展和多语言支持：

   • YAGO的后续版本（如YAGO2和YAGO3）进一步扩展了其数据来源，包括添加时间、空间和主题领域的信息。例如，YAGO3整合了来自多语言维基百科的信息，并为许多事实添加了时间和空间维度。
   • YAGO还支持多语言查询和数据下载，使其能够处理多种语言版本的维基百科内容。

6. 数据存储和查询：

   • YAGO的知识库以RDF格式存储，支持SPARQL查询。用户可以通过SPARQL端点访问YAGO的数据，并利用其丰富的语义信息进行复杂的查询。

YAGO通过从Wikipedia、WordNet和GeoNames等来源提取事实，并结合规则、启发式方法和一致性检查，构建了一个高覆盖率、高质量的语义知识库。其独特的设计使其能够支持多种应用场景，包括自然语言处理、信息检索和知识图谱构建。

YAGO在整合不同来源的数据时，通过一系列精心设计的步骤和方法来确保数据的一致性和准确性。以下是其主要措施：

1. 数据来源的选择与整合
   YAGO主要从三个主要来源提取数据：维基百科（Wikipedia）、WordNet和GeoNames。这些来源分别提供了丰富的实体信息、语义关系和地理空间信息。例如，维基百科提供了大量关于实体的详细信息，而WordNet则提供了严格的分类体系，GeoNames则补充了地理空间信息。

2. 数据提取与清洗
   YAGO通过规则和启发式方法从维基百科的infobox和分类信息中提取事实，并利用WordNet的分类体系对实体进行类别推断（Type Inference）。这一过程包括从实体信息框中抽取属性值，并将这些属性值映射到WordNet的分类体系中。此外，YAGO还通过人工定义的映射规则进一步清洗和推断数据，例如将同义属性映射为同一属性。

3. 过滤与约束检查
   每个提取的事实都会经过多步骤的过滤和约束检查。这些步骤包括去重、验证事实的逻辑一致性以及确保数据的唯一性。例如，YAGO通过严格的语义约束（如SHACL约束）来保持数据的清洁和一致性。

4. 手动评估与验证
   YAGO的数据准确性通过手动评估得到了验证。研究表明，YAGO的事实准确率约为95%，这一水平接近人类水平。这种高准确率得益于其对数据提取和清洗过程的严格控制。

5. 模块化架构与增量构建
   YAGO采用模块化设计，允许不同的数据提取器并行工作，从而提高效率。同时，其支持增量式构建，可以方便地将新数据源添加到现有知识图谱中。这种设计不仅提高了数据整合的灵活性，还确保了数据的一致性和准确性。

6. 语义约束与逻辑推理
   YAGO通过引入语义约束（如SHACL约束）来确保数据的逻辑一致性。这些约束不仅帮助清理数据，还支持基于本体的逻辑推理，从而进一步提升数据的准确性和一致性。

7. 时空信息的增强
   在YAGO2版本中，通过整合GeoNames数据，增加了对实体和事实的时间和空间维度的支持。例如，许多实体被锚定到特定的历史时间点或地理位置，这使得用户可以在时间和空间维度上查询知识。

8. 持续更新与维护
   YAGO定期更新和维护其数据集，以确保其准确性和时效性。这种持续的维护工作有助于减少噪声和错误，进一步提升数据的一致性和准确性。

YAGO通过从多个高质量来源提取数据、严格的过滤和约束检查、模块化架构的设计以及语义约束的应用，确保了其数据的一致性和准确性。这些措施使得YAGO成为一个广泛应用于知识图谱构建和语义推理任务的重要资源。