Inductive Relation Prediction by BERT

https://github.com/zhw12/BERTRL AAAI/2022

摘要

知识图中的关系预测主要是基于嵌入的方法，这些方法主要关注转导设置。不幸的是，当不可见的实体和关系存在时，它们无法处理归纳学习，也无法利用先验知识。此外，他们的推理过程不容易解释。在这项工作中，我们提出了一个一体化的解决方案，称为BERTRL(基于bert的关系学习)，它利用预先训练的语言模型，并通过将关系实例及其可能的推理路径作为训练样本来对其进行微调。在18个案例中，BERTRL在归纳和传导设置中有15个优于SOTAs。同时，该方法在少镜头学习中具有较强的泛化能力，具有较强的可解释性。

尽管现有的逻辑归纳法具有显著的优势，但其归纳学习能力有限，因为它只利用了结构信息，而忽略了与实体和关系相关的文本信息，以及这些文本中携带的先验知识。

在这项工作中，我们提出了一种一体化的解决方案，称为BERTRL(基于BERT的关系学习)，这种模型通过利用预训练的语言模型BERT (Devlin et al 2019)，将基于规则的推理与文本信息和先验知识相结合。在BERTRL中，我们将目标关系(h, r, t)中实体周围的局部子图线性化为路径p:(h, r0, e1)， (e1, r1, e2)，……， (en, rn, t)， input (h, r, t): p to BERT，然后微调。虽然这个差异看起来很小，但它实际上让BERTRL通过连接两个实体的路径显式地进行推理。KG-BERT的预测主要基于实体和关系的表示:知识图在BERT中被记忆，推理是隐式的。在B