ITCN Contextual relation embedding and interpretable triplet capsule forinductive relation predicti

摘要

关系预测是一种知识图补全的任务，旨在预测实体间缺失的关系。以往的大部分工作都集中在学习实体和关系的潜在表示，导致模型无法直接预测不可见实体的关系。为了归纳地预测关系，最近的工作提供了对候选三元组周围的子图进行操作的替代方法。但是，它们只是利用结构信息，而没有充分利用关系的文本信息。此外，他们不重视模型的可解释性，因为推理过程是不可解释的。本文提出了一种用于归纳关系预测的可解释三元胶囊网络(Interpretable Triplet Capsule Network, ITCN)，它通过预先训练好的BERT提取关系的文本信息，并通过经过调整的胶囊网络进行解释。与之前基于子图的归纳模型忽略与关系相关的文本信息不同，ITCN利用预先训练好的BERT来学习关系语义中携带的先验知识，并产生上下文关系嵌入(CRE)。此外，由于胶囊网络的路由机制可以揭示输入和输出胶囊之间的关系，我们将知识图中的三组构造为胶囊，并将原有的路由机制调整为有序多层路由机制(Sorted Multilayer Routing Mechanism, SMRM)进行解释。实验结果表明，ITCN在三个基准数据集上都达到了最先进的性能，突出了CRE带来的好处和模型的可解释性。

1.介绍

这些基于嵌入的模型的有效性，它们无法推断训练集中没有出现的实体之间的关系，因为这些实体的嵌入对模型来说是未知的。因此，基于嵌入的模型总是局限于传导设置[5]。为了在不需要重新训练的情况下对未知实体进行预测，提出了一些归纳模型，主要分为三类:基于归纳嵌入的模型、基于逻辑归纳的模型和基于子图的模型。基于归纳嵌入的模型坚持采用获取嵌入的方法，利用未知实体的图像等外部资源学习其嵌入。显然，它们的归纳设置依赖于额外的信息，这需要额外的计算，并且在没有其他信息的情况下无法推断实体。与以往基于嵌入的模型不同，逻辑归纳模型