Lifelong Embedding Learning and Transfer for Growing Knowledge Graphs

摘要

现有的知识图谱(KG)嵌入模型主要关注静态KG，但真实世界的KG并不是静态的，而是随着KG应用程序的发展而发展和增长。因此，新的事实和以前看不到的实体和关系不断出现，需要一个嵌入模型，可以通过增长快速学习和转移新知识。基于此，本文研究了KG嵌入的一个扩展领域，即终身KG嵌入。我们考虑了知识的迁移和保留学习的增长快照的KG，而不必从头开始学习嵌入。该模型包括一个用于嵌入学习和更新的蒙面KG自动编码器，一个将所学知识注入到新的实体和关系嵌入中的嵌入转移策略，以及一个避免灾难性遗忘的嵌入正则化方法。为了研究KG生长的不同方面的影响，我们构建了四个数据集来评估终身KG嵌入的性能。实验结果表明，该模型优于目前最先进的归纳和终身嵌入基线。

1.介绍

因此，本文提出研究成长kg的终身嵌入学习和迁移，目标是学习新事实，同时保留旧知识，而不需要从头开始重新训练。

提出的终身KG嵌入任务面临两个主要挑战。第一，如何平衡新知识的学习和旧知识的迁移?从头开始学习新实体和关系的嵌入不能利用以前学习过的知识，并且为它们归纳生成嵌入会忽略新快照中的新知识。第二，如何在保留有用知识的同时更新旧知识?学习关于旧实体的新事实通常需要更新以前学习过的嵌入，这可能对旧模型有害。这是因为更新一个旧的实体嵌入会影响许多其他相关实体的旧嵌入。这将导致灾难性的遗忘问题，从而影响构建在旧KG快照上的应用程序。

在LKGE模型中。首先，作为新知识学习和旧知识更新的基础嵌入模型，我们设计了一个掩码KG自编码器，对新事实中的实体或关系进行掩码和重构。它在与本地