SimKGC: Simple Contrastive Knowledge Graph Completion with Pre-trained Language Models 2022ACL

SimKGC: Simple Contrastive Knowledge Graph Completion with Pre-trained Language Models 2022ACL
SimKGC:基于预训练语言模型的简单对比知识图补全
方法分为两类：基于文本的方法有KG-BERT，基于图嵌入的方法：TransE、RotatE、TransH、Tucker.
KG-BERT、StAR、BLP采用预训练语言模型计算嵌入。

0. 模型创新点

利用预训练语言模型和对比学习技术来提高知识图谱补全的性能表现

1.模型框架：

SimKGC模型的框架主要由两个部分组成：预训练语言模型和对比学习框架。首先，预训练语言模型（如BERT）用于对实体和关系进行编码，以获得它们的向量表示。然后，这些向量表示被输入到对比学习框架中进行训练。在对比学习框架中，SimKGC使用双编码器结构来计算正样本和负样本之间的相似度，并使用三种不同类型的负样本来提高模型的泛化能力和鲁棒性。具体来说，这三种负样本包括：随机负样本、相似实体负样本和相似关系负样本。

SimKGC采用双编码器架构。两个编码器使用相同的预训练语言模型进行初始化，但不共享参数。

2.三种负采样策略

In-batch Negatives (IB) Pre-batch Negatives (PB) Self-Negatives (SN)

3. Graph-based Re-ranking

是论文中使用的一种基于图的重新排序策略，该方法利用知识图谱中实体之间的拓扑信息（实体之间的关系和实体之间的距离）来对候选实体进行重新排序，用于知识图谱补全任务中来提高预测准确性。

4.训练和推理