论文浅尝 - AAAI2021 | 从历史中学习：利用时间感知拷贝生成网络建模时态知识图谱...
笔记整理 | 朱珈徵，天津大学硕士
链接：https://arxiv.org/pdf/2012.08492.pdf
动机
大型知识图通常会增长以存储时态事实，这些时间事实对实体沿时间线的动态关系或交互进行建模。因为这样的时态知识图经常遭受不完全性的困扰，所以开发有助于推断缺失的时态事实的时间感知表示学习模型是很重要的。虽然时间事实通常是不断演变的，但据观察，许多事实往往沿着时间线呈现出重复的模式，例如经济危机和外交活动。这一观察表明，一个模型可能从历史上出现的已知事实中学到很多东西。为此，作者基于一种新颖的时间感知拷贝生成机制，提出了一种新的时态知识图表示学习模型——CyGNet。CyGNet不仅能够从整个实体词汇中预测未来的事实，而且能够通过重复识别事实，并相应地参考过去已知的事实来预测未来的事实。实验使用五个基准数据集在知识图完成任务上评估了所提出的方法。大量的实验证明了CyGNet预测未来重复事实和从头预测事实的有效性。
亮点
CyGNet的亮点主要包括：
（1）研究重复的时间事实的潜在现象，并建议在TKGs(temporal knowledge graphs,时态知识图谱)中学习推断未来事实时参考历史上已知的事实；
（2）作者通过时间感知复制生成机制提出了一个新的TKG嵌入模型CyGNet，它结合了两种推理模式，基于历史词汇或整个实体词汇进行预测，因此更符合前面提到的TKG事实的演化模式。
概念及模型
CyGNet模型主要结合了两种推理模式，即复制模式和生成模式，前者试图从特定的历史词汇中选择实体，形成历史中的重复事实，而后者从整个实体词汇中预测实体。模型整体框架如下：
复制模式
复制模式旨在通过重复来识别事实，并通过从历史上已知的事实中复制来相应地预测未来的事实。对于一个四元组(s, p,?, tk) 复制模式首先用MLP生成一个索引向量Vq：
然后CyGNet通过添加索引向量Vq和改变的multi-hot指示向量
来界定候选空间，最小化不感兴趣实体的概率，然后用softmax函数估计历史词汇中对象实体的概率:
p(c)是一个向量，其大小等于整个实体词汇的大小，并且表示历史词汇上的预测概率。最终，p(c)的最大维度表示要从历史词汇中复制的对象实体。复制模式的优点是，它能够从一个比整个实体词汇表更分隔的候选空间中学习预测。然而，事实也可以在即将到来的快照中出现。因此，需要一个生成模式来预测这些事实。
生成模式
给定相同的前述查询(s, p,?, tk)，生成模式负责通过从整个实体词汇中选择对象实体来预测事实。由生成模式做出的预测将预测的事实视为完全新的事实，而不参考历史。与复制模式类似，生成模式还生成一个索引向量gq，其大小等于候选空间的大小，并使用softmax函数进行归一化以进行预测:
类似于Copy模式中的p(c)，p(g)表示整个实体词汇上的预测概率。p(g)中的最大值表示作者通过生成模式在整个实体词汇表中预测的对象实体。“生成”模式是对“复制”模式的补充，具有从头预测事实的能力。
学习目标
当给定一个查询时预测(对象)实体(s, p,?, tk)可以看作是一个多类分类任务，其中每个类对应一个对象。学习目标是最小化训练期间存在的TKG快照的所有事实的交叉熵损失:
推论
为了确保候选空间中所有实体的概率和等于1，引入了系数α来调整复制模式和生成模式之间的权重。CyGNet将复制模式和生成模式的概率预测相结合，将这两种模式给出的每个实体的概率相加。最终预测结果将是获得最高组合概率的实体，定义如下:
理论分析
实验
在这一部分，作者用五个公开的TKG数据集证明了CyGNet的有效性，公开数据集进行实验，分别是：ICEWS18，ICEWS14， GDELT， WIKI 和 YAGO。模型的评价指标为：MRR和Hits@1/3/10 (排名在前1/3/10的正确测试结果的比例)。作者还实施了已在先前工作中广泛采用的过滤评估约束。
如图所示，CyGNet在所有情况下都能获得最佳性能。静态KGE方法通常展现足够的结果，而很大程度上落后于表现最好的TKGE方法，因为它们没有捕捉时间动态。还可以观察到，所有静态KGE方法的性能通常都优于TransE和HyTE。作者认为这是由于TransE和HyTE为每个快照独立学习表示，而不是捕获长期依赖。CyGNet在ICEWS18、ICEWS14和GDELT上的表现明显优于其他基线方法。特别是在GDELT上，因为GDELT在每个快照中比其他数据集具有更密集的训练事实，并且具有更完整的历史信息。在另外两个数据集上CyGNet也始终超越静态的KGE和TKGE方法。这意味着CyGNet通过从历史中学习，从零开始识别和预测新的事实，有效地预测未来的事实。
|
为了帮助理解CyGNet不同模型成分的贡献，作者还进行了一个消融研究。根据表中的结果，作者发现复制模式和生成模式都很重要。取消复制模式可能会导致MRR下降7.66%，以及其他指标的大幅下降，这表明通过参考过去已知的事实来学习预测未来的事实可能会有所帮助。另一方面，生成模式的取消导致MRR下降了5.71%，这也是该模型重新进行事实预测的能力丧失的原因之一。这些结果进一步解释了CyGNet的良好表现是由于从历史中学习的能力，以及从零开始识别和预测新事实的能力。
总结
表征和推断时态知识是一个具有挑战性的问题。在本文中，作者第一次利用复制机制来解决这个问题，基于一个假设，即未来的事实可以从历史事实中预测。提出的CyGNet不仅能够预测整个开放世界的事实，还能够重复识别事实，并根据过去出现的已知事实相应地选择未来的事实。在五个基准数据集上给出的结果证明了CyGNet在预测TKGs未来事实方面的良好表现。
OpenKG
开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。
点击阅读原文，进入 OpenKG 网站。