Bi-Link: Bridging Inductive Link Predictions from Text viaContrastive Learning of Transformers and

WWW

国际万维网大会_百度百科

摘要

Bi-Link:通过Transformers和提示符的对比学习，从文本中连接归纳链接预测

归纳知识图补全要求模型理解关系的底层语义和逻辑模式。随着预训练语言模型的发展，最近的研究设计了用于链路预测任务的 transformers。然而，实证研究表明，线性化三元组会影响关系模式的学习，如反转和对称。在本文中，我们提出了Bi-Link，这是一种具有概率语法提示的对比学习框架，用于链接预测。利用BERT的语法知识，我们根据所学的语法模式有效地搜索关系提示，并将其推广到大的知识图中。为了更好地表达对称关系，设计了对称链接预测模型，在正向预测和反向预测之间建立双向链接。这种双向连接适应了测试时灵活的自集成策略。在我们的实验中，Bi-Link在链路预测数据集(WN18RR, FB15K-237和Wikidata5M)上优于最近的基线。此外，我们将Zeshel-Ind构建为一个域内归纳实体，连接环境来评估Bi-Link。实验结果表明，该方法具有较强的鲁棒性，可以在域移位情况下进行推广。

1.介绍

DKRL[36]是一种开创性的归纳链路预测方法，它提出从实体描述中建立这些逻辑规则。KEPLER[34]结合了三元组的逻辑和用预先训练语言模型(PLM)编码的实体描述语义。损失函数是TransE损失和掩码语言建模损失的线性组合。不幸的是，该方法收敛速度慢得出乎意料，并且对实体描述中的噪声