KEPLER: A unified model for knowledge embedding and pre-trainedlanguage representation

摘要

预先训练的语言表示模型(PLMs)不能很好地从文本中获取事实知识。相比之下，知识嵌入方法可以通过信息实体嵌入有效地表示知识图中的关系事实，但传统的知识嵌入模型不能充分利用丰富的文本信息。本文提出了一种统一的知识嵌入和预训练语言表示(KEPLER)模型，该模型不仅能更好地将事实知识整合到PLM中，而且能在强PLM中生成有效的文本增强KE。在KEPLER中，我们用PLM作为文本实体描述的嵌入，然后联合优化KE和语言建模目标。实验结果表明，KEPLER在各种NLP任务中都具有最先进的性能，并且作为一种归纳KE模型在KG链路预测中也具有很好的效果。此外，为了对KEPLER进行预训练和评估，我们构建了Wikidata5M1，一个具有对齐实体描述的大规模KG数据集，并在其上对最新的KE方法进行基准测试。它可以作为一个新的知识产权标准，促进大知识产权、归纳知识产权和文本知识产权的研究

1.介绍

最近的预训练语言表示模型(PLMs)，如BERT (Devlin等人，2019)和RoBERTa(Liu等人，2019c)从具有语言建模目标的大规模非结构化语料库中学习有效的语言表示，并在各种自然语言处理(NLP)任务中取得了优异的性能。现有的PLM从未标记的文本中学习有用的语言知识(Liu等人，2019a)，但它们通常不能很好地捕获世界事实，这些事实通常是稀疏的，文本中的形式复杂(Petroni等人，2019;洛根等人，2019)。

相比之下，知识图(KGs)包含广泛的结构事实和知识嵌入