论文浅尝 | Temporal Knowledge Graph Completion Using Box Embeddings

笔记整理：杨露露，天津大学硕士

论文链接：https://www.aaai.org/AAAI22Papers/AAAI-6210.MessnerJ.pdf

动机

时态知识图谱补全（TKGC）中的主要挑战是额外学习时间戳嵌入，以便嵌入模型根据关系、实体和时间戳嵌入联合执行评分。本文提出了BoxTE，一个用于TKGC的盒子嵌入模型，建立在静态知识图谱嵌入模型BoxE之上。

亮点

本文的亮点主要包括：

（1）表明 BoxTE 具有充分的表达能力，并且具有很强的归纳能力，可以捕获丰富的推理模式和跨时间推理模式。

（2）首次在 TKGC 的背景下对归纳能力进行了全面分析。

（3）进行了详细的实验评估，并表明即使在参数有限的情况下， BoxTE 在几个 TKGC 基线上实现了最先进的性能。

模型表示

BoxTE建立在静态BoxE模型的基础上，并用时间表示法对其进行了扩展，这允许额外捕获跨时间的推理模式（具体证明请看原文），并对某些时间关系信息进行建模。

除了实体和关系表示，BoxTE定义：

（1）对于每个时间戳   、一组  维嵌入，由矩阵  表示。

每个时间戳  和关系，相应的time bump为：

其中，  是  维标量。对于时态事实，h和t的最终实体表示为：

然后类似于 BoxE 进行评分。直观地说，time bumps在每个时间戳都会产生不同的最终嵌入。然而，在这个时间戳中，每个关系也可能会引发不同的实体表示。特别是，由于关系r和s的不同标量表示，time bumps导致事实和的h和t的不同最终嵌入。因此，BoxTE 中的time dumps是通过学习适当的标量  来表示特定于关系的时间动态。

举个例子来说明BoxTE，如下图所示。假设，其中将单个时间戳称为，以反映自然时间顺序。图的左侧和右侧分别显示了时间戳和处的BoxTE配置。关系r和s分别用黑色和红色进行颜色编码。

实验

本文根据TKG基准ICEWS14、ICEWS15和GDELT评估BoxTE。本文使用平均秩（MR）、平均倒数排名（MRR）和Hits@{1,3,10}评估BoxTE，具体来说，使用集合{2，3，5}中的k值进行实验，并使用验证来调整嵌入维数d、训练批大小和负样本数。此外，还使用TNTComplEx的时间平滑正则化器进行了实验，并考虑了时间嵌入的因子分解以鼓励参数共享。最后，使用交叉熵损失训练BoxTE，主要使用了Adam优化器，模型具体对比结果如下图所示。

可以看出，BoxTE在GDELT上实现了最先进的性能，在MRR方面轻松超过了TeMP。此外，BoxTE在ICEWS14和ICEWS15上也表现出色。在ICEWS14上，BoxTE也优于TeMP，与TNTComplEx和ChronoR竞争。这一趋势也影响到ICEWS15，尽管数据集稀疏，但BoxTE仍然很强。

一方面，GDELT涉及显著的时间可变性：一些事实在多个连续的时间戳中持续存在，而另一些则是暂时的和稀疏的。因此，GDELT需要强大的时间感应能力。事实上，在GDELT上，大多数TKGC模型都无法击败简单的基于规则的系统TED，进一步突出了该数据集中时间模式的普遍性。因此，BoxTE的强大性能表明，该模型捕获了时间模式，并利用这些信息来超越现有模型。

另一方面，两个ICEWS数据集都提供了有限的时间信息。事实上，这些数据集中的关系相当稀疏，通常以有限的（如果有的话）规律性编码一次性模式，例如官方访问、谈判、声明。因此，ICEWS数据集的时间丰富性和可变性大大降低，而更多地依赖实体驱动的预测。同样的TKGC模型在GDELT上表现不佳，现在在ICEWS14和ICEWS5-15上大大优于TED，这一事实进一步突显了这一点。因此，两个ICEWS数据集都包含很少的时间模式供BoxTE捕捉，这大大降低了该模型相对于其竞争对手的归纳优势。

另外，就相对于k的性能而言，在ICEWS14上，当k=2时，BoxTE表现最好，而在ICEWS5-15和GDELT上，最佳k值均为5。这可以归因于ICEWS5-15中的时间步长显著增加。事实上，ICEWS5-15包含4017个时间戳，而ICEWS14仅包含365个。因此，需要更多的灵活性来学习这些时间戳中充分不同的时间行为，这与BoxTx对高k优势的直觉相一致。GDELT结果还强调了高k的重要性，因为它们证实了需要更灵活的能力来适应它提供的丰富事实集。

最后，当在所有基准上进行训练时，BoxTE是鲁棒的，因为即使没有时间平滑正则化的补充，它也保持了强大的性能。相比之下，TNTComplEx和ChronoR在没有正则化的情况下受到了很大的影响。这进一步突出了BoxTE的归纳能力，它可以从数据中自主学习时间特性，并表明该模型是一种强大的自然选择，适用于未知正则化或与数据不兼容的新型数据集。

总结

本文提出了BoxTE，一种时间知识图嵌入模型，并表明该模型具有充分的表达能力，并捕获了丰富的时间推理模式。然后，根据经验评估了BoxTE，并表明该模型在TKGC方面实现了最先进的性能，并从其感应能力和鲁棒性中受益匪浅。与 BoxE 类似，BoxTE 自然适用于更高元的知识库。不幸的是，尽管它具有巨大的潜力和广泛的适用性，但没有建立更高数量的时态知识图完成的基准。因此，为时态知识库补全引入新的基准，涉及更高数量的事实来研究 BoxTE 以及其他模型在此设置中的性能是个有趣的研究方向。

---

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。