FTL-LM Fusing topology contexts and logical rules in language models for knowledgegraph completion

摘要

知识图补全(KGC)的目的是根据观察到的事实推断缺失的事实，这对许多下游应用具有重要意义。鉴于深度学习和预训练语言模型(LMs)的成功，针对KGC任务提出了一些基于LMs的方法。然而，大多数模型都专注于对事实三元组的文本进行建模，而忽略了对KG建模非常重要的更深层次的语义信息(例如拓扑上下文和逻辑规则)。为此，我们提出了融合KGC语言模型中拓扑上下文和逻辑规则的统一框架FTL-LM，该框架主要包含一种新的基于路径的拓扑上下文学习方法和一种用于软逻辑规则提取的变分期望最大化(EM)算法。前者利用异构随机游走生成拓扑路径和进一步推理路径，这些路径可以隐式地表示拓扑上下文，并可以由LM显式建模。引入掩码语言建模和对比路径学习策略对这些拓扑环境进行建模。后者通过带有两个lm的变分EM算法隐式地融合逻辑规则。具体而言，在e步中，三元LM在观测三元组和固定规则LM验证的有效隐藏三元组的监督下更新。在m步中，我们修复了三重LM并对规则LM进行了微调以更新逻辑规则。在三个常见的KGC数据集上的实验证明了所提出的FTL-LM的优越性，例如，在WN18RR和FB15k-237上，它分别比最先进的基于lm的LP-BERT模型提高了2.1%和3.1% Hits@10。

1.介绍

为了解决上述问题，我们提出了一个新的两阶段框架，隐式地融合KGC语言模型中的拓扑上下文和逻辑规则，称为FTL-LM。具体而言，对于拓扑上下文的学习，我们首先提出了一种异构随机行走算法，综合考虑了kg中的各种因素，包括宽度优先抽样、深度优先抽样和不同关系，生成不同的拓扑路径。通过省略中间实体，这些拓扑路径被转换为推理路径，然后对它们的正实例和负实例进行采样。然后，利用掩码语言建模和对比路径学习策略对拓扑路径和推理路径的语义信息进行建模。在此基础上，引入了软逻辑规则提取方法来融合LMs中