Inductive Knowledge Graph Reasoning forMulti-batch Emerging Entities

Embedding-based Inductive KG Reasoning

传统的基于嵌入的KG推理模型[3,8,11,36]建立在静态KG的基础上，如上所述，这些模型无法处理新兴实体。据我们所知，MEAN[12]是第一个不需要再训练就能学习新兴实体嵌入的归纳工作。该方法简单地将转换后的相邻信息进行聚合，取均值作为实体的嵌入。在MEAN的基础上，LAN[31]结合了基于规则的和神经的注意来衡量不同邻居在聚合过程中重要性的变化。MEAN和LAN都使用三重评分函数对每个候选事实进行排名。它们的一个局限性是，由于依赖现有实体进行聚合，它们只能处理看不见的事实。GraIL[23]和TACT[6]对每个候选事实的两个实体之间提取的子图进行评分。他们使用图神经网络(GNNs)学习实体无关的关系语义模式，以预测实体对的缺失关系。INDIGO[16]进一步利用了KGs的结构信息，它对带注释的图进行了完全编码，这些图使用它们的相邻关系和节点类型信息初始化了实体特征。

其他基于嵌入的工作处理归纳KG推理的特定设置或任务。GEN[1]和HRFN[39]探索了实体的边缘度小于少数的元学习设置。PathCon[30]通过聚合其相邻的边对每个实体对进行编码，这与我们的ARGCN类似。注意:PathCon的查询设置为关系预测

而不是本文所研究的较难的实体预测。由于这些研究的设置和任务不能直接适用于MBE场景下的推理任务，因此我们在本文的其余部分不进行讨论。

基于行走的归纳KG推理

KG推理问题不是基于实体和关系嵌入来评分候选事实，而是可以用强化学习的方式来表述，在这种方式中，基于行走的代理探索到达目标实体的推理路径。DeepPath[35]设计了kg特定的强化学习环境，并预测了实体对之间的缺失关系。MINERVA[7]对策略网络中的代理的路径历史进行编码，并回答每个查询中缺失的尾部实体。多跳[15]通过引入奖励重塑和动作退出改进MINERV A，丰富了奖励信号，提高了泛化能力。其他研究[17,28,29]提出了更复杂的奖励函数、政策网络或强化学习框架。特别地，GT[2]为基于步行的推理加入了一个图Transformer，并发现MultiHop等基于步行的模型可以很好地适应归纳设置，尽管新兴实体是随机初始化的。RuleGuider[14]利用AnyBURL[18]生成的预先挖掘的高质量规则，提供更多的奖励监督。RuleGuider和我们的模型都利用规则为推理提供更多的知识。然而，与RuleGuider不同的是，我们不需要额外的规则挖掘模型来获取规则。

基于规则的归纳KG推理

基于规则的归纳模型从kg中挖掘规则，以帮助预测缺失的事实。早期的规则挖掘模型，例如AMIE[10]和AMIE+[9]，旨在使用并行化和分区加速挖掘过程。他们使用特定的置信度来发现高质量的规则。NeurLP[37]和DRUM[20]以端到端可微分的方式学习规则，该方法为每个事实计算得分，并通过最大化所有事实得分来学习规则。AnyBURL[18]扩展了规则的定义，以利用更多的上下文信息，并为高效的规则学习设计了一种自底向上的方法。基于行走模型的训练过程也可以看作是规则挖掘，但它们的规则隐含在策略网络中，而不是霍恩子句形式的明确。在本文中，我们从基于行走的轨迹中提取显式规则，以辅助对增长的kg进行推理。