“知识图谱补全”术语：知识图谱补全、三元组分类、链接预测

基本简介：

知识图谱补全通常定义为“三元组分类”或“链接预测”任务。首先，一条知识在知识图谱中通常由三元组表示：“头实体，关系，尾实体”。三元组分类即对于给定的三元组，预测其正确的概率。而链接预测则是对于三元组中缺失的某个元素加以补全。由此可见，链接预测可以转换为三元组分类任务，它们都可以对不存在于当前知识图谱中的“新知识”做出预测。

InfoBox：

中文名：知识图谱补全

外文名：Knowledge Graph Completion

简写：KGC

学科：人工智能

实质：利用知识图谱中已有的知识（包括结构和属性等）经过推断得到新的知识。

背景与动机：

近年来，研究者们构建了各种各样的大规模的知识图谱，如Wikidata[1]、YAGO[2]等。虽然它们已经在多个领域取得了显著的成绩，但是在实际应用中，知识覆盖率不足一直是一个令人头疼的问题。那么，如何在已有知识中通过学习得到新的知识，从而对知识图谱进行补全，成为了一种有效手段。并且，在学习的过程中，知识图谱补全检验了模型的推理能力。如图1所示，实线表示已有知识，虚线表示预测的新知识。可以看到，模型从已有知识（贝多芬，职业，钢琴家）和（贝多芬，乐器，钢琴）中归纳出可靠的规则：钢琴家的乐器是钢琴，再通过（Bob，职业，钢琴家）演绎出新知识（Bob，乐器，钢琴），对知识图谱缺失的边进行了补全。

图1. 知识图谱补全多跳推理样例，来源于[3].

研究概况：

现有的知识图谱补全模型大体上可分为两种：表示学习模型和多跳推理模型。它们的区别在于是否对于新知识的预测具有可解释性。

表示学习模型：基本思想是将实体和关系嵌入到同一表征空间中，通过学习知识图谱的结构信息，对表示向量加以限制。那么，在判断新知识的时候，可以直接使用对应的实体和关系向量，对三元组进行打分，分数的高低反应该条知识的正确概率。这类方法大体上又分为三种：翻译距离模型（如TransE[4]、RotatE[5]等），矩阵分解模型（如ComplEx[6]、TuckER[7]等）以及神经网络模型（如ConvE[8]、CapsE[9]等）。

多跳推理模型：基本思想则是对于即将判定的三元组，找到等效的路径。这样一来，该条知识的正确概率取决于对应路径的打分情况以及两者在多大程度上“相等”。并且，除了可以补全三元组以外，多跳推理模型可以利用路径作为推理的解释。这类方法多数利用强化学习在知识图谱上进行游走，从而找到相关路径，如DeepPath[10], R2D2[11], RuleGuider[12]等。

此外，类似多跳推理模型，规则挖掘方法忽略了路径上的实体信息，着重于挖掘“关系的关系”，即规则。利用挖掘到的规则，通过演绎也可以进行知识图谱补全。经典方法包括AMIE+[13]和AnyBURL[14]。关于模型更细致的分类和具体的描述，最近有很多综述工作，可以作为参考[15,16].

下一阶段研究方向：

然而，现有模型距离实际应用仍有很多不足，如在经典数据集FB15k237上只有0.51 Hit@1和187的Mean Rank[17]。这到底是什么问题呢？是模型仍有较大的进步空间？还是评测的数据集质量不够高？答案是两者都有。

图2. 知识图谱补全数据集FB15k237的测试和训练样例。

一方面，现有的数据集对已有知识进行随机划分，得到训练集和测试集，这样并不能保证测试的新知识确实可以通过训练时已有的知识得到。如图2所示，第一个例子需要判断David的location在哪里，正确答案为Florida。然而，仅仅通过训练中的相关知识—David出生于Atlanta以及他的国籍是美国，即使人类也很难做出判断，我们又怎么能期待AI模型做出正确的预测呢？第二个例子则展示了无意义的评测—找出一年中在训练集中缺失的月份。针对这些问题，[18]提出了更高质量的数据集InferWiki。它满足三个原则：（1）测试的三元组要确保由训练集推理而来。（2）测试的知识可以是正确的，错误的，也可以是不确定。这大大提升了三元组分类任务的挑战性，并更符合现实中的开放世界假设（没见过的知识不代表是错的，而是不确定）。（3）推理过程可以多种多样，如不同的推理路径长度、规则种类等。作者基于该数据集建立了评测基准，并从多个方面进行分析，给出了研究挑战。

图3. 知识图谱补全多跳推理质量较低的样例，来源于[3].

另一方面，虽然现有的模型可以进行一定程度的推理，但是并不能区分推理的好坏。这大大降低了知识驱动模型的实际意义。比如每个人都有自己的推理手段，但是高下不同（福尔摩斯的推理能力就比我们要更加严谨）。图3展示了现有知识图谱补全模型学习到的推理路径。我们可以看到虽然它和图1有着相似的模式，但是非常荒谬—模型从大量的相关知识中归纳出“出生于LA的人会自然死亡“，例如Jack Kemp。再进行演绎的时候，自然做出了非常可笑的预测。事实上，这种基于数据关联的荒谬的预测错误随处可见，包括大规模预训练模型GPT-3同样也会对问题“我的脚有几只眼睛？”，生成可笑的答案“两只”。针对这一问题，[3]提出了对多跳推理模型的推理质量和解释性进行评测。它提供了上万条人工标注的规则对推理路径的合理性及可解释性进行自动化的评估。

参考文献

[1] Vrandečić D, Krötzsch M. Wikidata: a free collaborative knowledgebase[J]. Communications of the ACM, 2014, 57(10): 78-85.

[2] Tanon T P, Weikum G, Suchanek F. Yago 4: A reason-able knowledge base[C]//European Semantic Web Conference. Springer, Cham, 2020: 583-596.

[3] Lv X, Cao Y, Hou L, et al. Is Multi-Hop Reasoning Really Explainable? Towards Benchmarking Reasoning Interpretability[J]. arXiv preprint arXiv:2104.06751, 2021.

[4] Bordes A, Usunier N, Garcia-Duran A, et al. Translating embeddings for modeling multi-relational data[J]. Advances in neural information processing systems, 2013, 26.

[5] Sun Z, Deng Z H, Nie J Y, et al. Rotate: Knowledge graph embedding by relational rotation in complex space[J]. arXiv preprint arXiv:1902.10197, 2019.

[6] Trouillon T, Welbl J, Riedel S, et al. Complex embeddings for simple link prediction[C]//International conference on machine learning. PMLR, 2016: 2071-2080.

[7] Balažević I, Allen C, Hospedales T M. Tucker: Tensor factorization for knowledge graph completion[J]. arXiv preprint arXiv:1901.09590, 2019.

[8] Dettmers T, Minervini P, Stenetorp P, et al. Convolutional 2d knowledge graph embeddings[C]//Thirty-second AAAI conference on artificial intelligence. 2018.

[9] Vu T, Nguyen T D, Nguyen D Q, et al. A capsule network-based embedding model for knowledge graph completion and search personalization[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). 2019: 2180-2189.

[10] Xiong W, Hoang T, Wang W Y. Deeppath: A reinforcement learning method for knowledge graph reasoning[J]. arXiv preprint arXiv:1707.06690, 2017.

[11] Hildebrandt M, Serna J A Q, Ma Y, et al. Reasoning on knowledge graphs with debate dynamics[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2020, 34(04): 4123-4131.

[12] Lei D, Jiang G, Gu X, et al. Learning Collaborative Agents with Rule Guidance for Knowledge Graph Reasoning[J]. arXiv preprint arXiv:2005.00571, 2020.

[13] Galárraga L, Teflioudi C, Hose K, et al. Fast rule mining in ontological knowledge bases with AMIE $$+ $$+[J]. The VLDB Journal, 2015, 24(6): 707-730.

[14] Meilicke C, Chekol M W, Ruffinelli D, et al. Anytime Bottom-Up Rule Learning for Knowledge Graph Completion[C]//IJCAI. 2019: 3137-3143.

[15] Wang Q, Mao Z, Wang B, et al. Knowledge graph embedding: A survey of approaches and applications[J]. IEEE Transactions on Knowledge and Data Engineering, 2017, 29(12): 2724-2743.

[16] Rossi A, Barbosa D, Firmani D, et al. Knowledge graph embedding for link prediction: A comparative analysis[J]. ACM Transactions on Knowledge Discovery from Data (TKDD), 2021, 15(2): 1-49.

[17] Wang R, Li B, Hu S, et al. Knowledge graph embedding via graph attenuated attention networks[J]. IEEE Access, 2019, 8: 5212-5224.

[18] Cao Y, Ji X, Lv X, et al. Are Missing Links Predictable? An Inferential Benchmark for Knowledge Graph Completion[C]//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2021: 6855-6865.

联手自然语言处理专业委员会：“知识图谱补全”术语发布 | CCF术语快线 - 知乎