知识图谱构建技术简介

知识图谱

1.知识图谱的构建技术

2.相关技术描述

2.1知识抽取

2.2知识融合

2.3知识加工

1.知识图谱的构建技术

构建方法主要有两种：自底向上和自顶向下，本文主要介绍自底向上的构建技术。

2.相关技术描述

2.1知识抽取

知识抽取 ：从各种类型的数据源中提取出实体、属性以及实体间的相互关系，在此基础上形成本体化的知识表达；其内容主要包括：实体抽取、关系抽取、属性抽取。

实体抽取：也称为命名实体识别（named entity recognition，NER），是指从文本数据集中自动识别出命名实体。目的是识别文本中指定类别的实体，主要包括人 名、 地名、 机构名、 专有名词等的任务“ 姚明（Yao Ming），1980年9月12日出生于上海市徐汇区，祖籍江苏省苏州市吴江区震泽镇，前中国职业篮球运动员，司职中锋，现任中职联公司董事长兼总经理“。如下图所示，命名实体识别主要包含两个部分：实体边界识别与实体分类。传统方法（HMM（隐马尔科夫模型） CRF（条件随机场） SVM、最大熵分类模型等方法进行处理。现在能采用深度学习，比如CNN\RNN\LSTM及LSTM-CRF。采用的工具可以有Jiagu、jieba、Stanford CoreNLP等。

关系抽取：文本语料经过实体抽取之后，得到的是一系列离散的命名实体，为了得到语义信息，还需要从相关语料中提取出实体之间的关联关系，通过关系将实体联系起来，才能够形成网状的知识结构。

研究历史
人工构造语法和语义规则（模式匹配）
统计机器学习方法
基于特征向量或核函数的有监督学习方法
研究重点转向半监督和无监督
开始研究面向开放域的信息抽取方法
将面向开放域的信息抽取方法和面向封闭领域的传统方法结合

属性抽取：属性抽取的目标是从不同信息源中采集特定实体的属性信息，如针对某个公众人物，可以从网络公开信息中得到其昵称、生日、国籍、教育背景等信息。

研究历史
将实体的属性视作实体与属性值之间的一种名词性关系，将属性抽取任务转化为关系抽取任务。
基于规则和启发式算法，抽取结构化数据
基于百科类网站的半结构化数据，通过自动抽取生成训练语料，用于训练实体属性标注模型，然后将其应用于对非结构化数据的实体属性抽取。
采用数据挖掘的方法直接从文本中挖掘实体属性和属性值之间的关系模式，据此实现对属性名和属性值在文本中的定位。

2.2 知识融合

知识融合：在获得新知识之后，需要对其进行整合，以消除矛盾和歧义，比如某些实体可能有多种表达，某个特定称谓也许对应于多个不同的实体等；其内容主要实体链接，知识合并
实体链接（entity linking）：是指对于从文本中抽取得到的实体对象，将其链接到知识库中对应的正确实体对象的操作。其基本思想是首先根据给定的实体指称项，从知识库中选出一组候选实体对象，然后通过相似度计算将指称项链接到正确的实体对象。
在前面的实体链接中，我们已经将实体链接到知识库中对应的正确实体对象那里去了，但需要注意的是，实体链接链接的是我们从半结构化数据和非结构化数据那里通过信息抽取提取出来的数据。

知识合并：
那么除了半结构化数据和非结构化数据以外，我们还有个更方便的数据来源——结构化数据，如外部知识库和关系数据库。对于这部分结构化数据的处理，就是我们知识合并的内容啦。一般来说知识合并主要分为两种：
1.合并外部知识库，主要处理数据层和模式层的冲突
2.合并关系数据库，有RDB2RDF等方法

2.3知识加工

知识加工：对于经过融合的新知识，需要经过质量评估之后（部分需要人工参与甄别），才能将合格的部分加入到知识库中，以确保知识库的质量。其主要内容包括本体构建、知识推理、质量评估。

本体（ontology）是指工人的概念集合、概念框架，如“人”、“事”、“物”等。本体可以采用人工编辑的方式手动构建（借助本体编辑软件），也可以以数据驱动的自动化方式构建本体。因为人工方式工作量巨大，且很难找到符合要求的专家，因此当前主流的全局本体库产品，都是从一些面向特定领域的现有本体库出发，采用自动构建技术逐步扩展得到的。

自动化本体构建过程包含三个阶段：
1.实体并列关系相似度计算
2.实体上下位关系抽取
3.本体的生成

比如对下面这个例子，当知识图谱刚得到“阿里巴巴”、“腾讯”、“手机”这三个实体的时候，可能会认为它们三个之间并没有什么差别，但当它去计算三个实体之间的相似度后，就会发现，阿里巴巴和腾讯之间可能更相似，和手机差别更大一些。
这就是第一步的作用，但这样下来，知识图谱实际上还是没有一个上下层的概念，它还是不知道，阿里巴巴和手机，根本就不隶属于一个类型，无法比较。因此我们在实体上下位关系抽取这一步，就需要去完成这样的工作，从而生成第三步的本体。
当三步结束后，这个知识图谱可能就会明白，“阿里巴巴和腾讯，其实都是公司这样一个实体下的细分实体。它们和手机并不是一类。

知识推理：根据已有的知识图谱中的事实或者关系推断出新的事实与关系，一般是考察实体、关系和图谱结构三个方面的信息特征。
例如如果A是B的配偶，B是C的主席，C坐落于D，那么我们就可以认为，A生活在D这个城市。根据这一条规则，我们可以去挖掘一下在图里，是不是还有其他的path满足这个条件，那么我们就可以将AD两个关联起来。除此之外，我们还可以去思考，串联里有一环是B是C的主席，那么B是C的CEO、B是C的COO，是不是也可以作为这个推理策略的一环呢？

当然知识推理的对象也并不局限于实体间的关系，也可以是实体的属性值，本体的概念层次关系等。

比如：
推理属性值：已知某实体的生日属性，可以通过推理得到该实体的年龄属性；
推理概念：已知(老虎，科，猫科)和（猫科，目，食肉目）可以推出（老虎，目，食肉目）
这一块的算法主要可以分为3大类，基于逻辑的推理、基于图的推理和基于深度学习的推理。

质量评估：可以对知识的可信度进行量化，通过舍弃置信度较低的知识来保障知识库的质量。

参考

https://zhuanlan.zhihu.com/p/38891715
https://zhuanlan.zhihu.com/p/85556255