Inductive Relation Prediction by BERT

摘要

知识图中的关系预测主要是基于嵌入的方法，这些方法主要关注转换设置。不幸的是，它们不能处理存在不可见实体和关系的归纳学习，也不能利用先验知识。此外，它们的推理过程也不容易解释。在这项工作中，我们提出了一个一体化的解决方案，称为BERTRL(基于bert的关系学习)，它利用预训练的语言模型，并通过将关系实例及其可能的推理路径作为训练样本来对其进行微调。在18例中，有15例在感应和转导两种情况下BERTRL优于SOTAs。同时，该方法具有较强的小样本学习泛化能力和可解释性。数据和代码可以在https://github.com/zhw12/BERTRL上找到。

介绍

知识图(KGs)在问答和推荐系统等广泛的任务中是必不可少的(Ji et al 2020)。由于许多知识图在实践中基本上是不完整的，因此知识图补全(KGC)在许多应用中成为必须的(Nickel et al . 2016)。

基于嵌入的方法，如TransE (Bordes等人2013年)、Complex (Trouillon等人2017年)、ConvE (Dettmers等人2018年)、RotatE (Sun等人2019年)和TuckER (Balaževic、Allen和Hospedales 2019年)，在一些KGC基准测试中实现了最先进的性能。然而，这些方法的缺点是显而易见的，因为它们仅限于需要在训练时看到实体和关系的转换设置。在现实中，新的实体和关系会随着时间的推移而出现(归纳设置)。对于动态填充的知识图来说，再培训的成本可能太高了。除了归纳设置之外，这些专门的嵌入方法还不能轻易解决可解释性、少射学习和迁移学习问题。

逻辑归纳方法通过寻找概率子图模式(GraIL(Teru, Denis, and Hamilton 2020)， CoMPILE(Mai et al 2021)和TACT (Chen et al 2021))，逻辑规则(