SimKGC: Simple Contrastive Knowledge Graph Completion withPre-trained Language Models

摘要

知识图补全(KGC)旨在对已知事实进行推理，并推断缺失的环节。基于文本的方法，如KGBERT (Y ao等人，2019)从自然语言描述中学习实体表示，并具有归纳KGC的潜力。然而，基于文本的方法的性能仍然大大落后于基于图嵌入的方法，如TransE (Bordes et al, 2013)和RotatE (Sun et al, 2019b)。在本文中，我们认为关键问题是有效的对比学习。为了提高学习效率，我们引入了三种类型的负采样:in-batch negatives、pre-batch negatives和self-negatives which act as a simple form
of hard negatives。结合InfoNCE损失，我们提出的模型SimKGC可以在几个基准数据集上大大优于基于嵌入的方法。在平均倒数排名(MRR)方面，我们在WN18RR上提高了+19%，在Wikidata5M传导设置上提高了+6.8%，在Wikidata5M感应设置上提高了+22%。进行彻底的分析以深入了解每个组件。我们的代码可以在https://github.com/ intfloat/SimKGC上找到。

在本文中，受对比学习最新进展的启发，我们引入了三种类型的否定来改进基于文本的KGC方法:批内否定、批前否定和自否定。通过采用双编码器而不是交叉编码器(Y ao et al, 2019)架构，可以通过使用更大的批大小来增加批内底片的数量。前批中的V向量被缓存并作为批前底片(Karpukhin等人，2020)。此外，挖掘硬消极因素有助于提高对比学习。我们发现，头部实体本身可以作为硬否定，我们称