论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG

论文链接：https://arxiv.org/abs/1705.05742

 

对于事件数据，需要动态更新的知识图谱来保存知识图谱中关系的时许信息。本文提出了 Know-Evolve 这种基于神经网络的动态知识图谱来学习实体在不同时刻的表示。在动态知识图谱中，事件由四元组表示，相比于普通的三元组，增加了时间信息，因此在动态知识图谱中，实体之间的可能通过多个相同的关系连接，但是这些关系会关联到不同的时序信息。Know-Evolve 中，使用时间点过程（temporal point process）来描述时间点的影响。

在时间点过程中，某一时刻发生某事件的概率可以表示为

其中

具体而言，Know-Evolve 中使用了Rayleigh过程来表示 \lambda(t)，并使用一个神经网络来拟合 Rayleigh 过程的参数，对于发生在时刻 t 的四元组，有

其中

上式中，V 表示实体对应的向量表示，R 表示关系对应的矩阵，t-1 表示实体在上次被更新后的状态, \bar{t} 表示头实体或尾实体中最后被更改的时间。

此外，每次将新的四元组加入到动态知识库后，动态知识库中与该四元组相关的实体也会相应地进行更新，更新地过程用一个 RNN 来表示

对于头实体，有

对于尾实体，有

模型的训练通过最大化训练数据中四元组发生概率进行，对应的损失函数为对数损失函数

在损失函数中，后一项需要对头实体，关系，尾实体进行遍历，这个计算量是很大的，本文中使用了采样的方法来近似计算得到这部分的值。

实验使用了GDELT和ICEWS这两个时序知识库，相比于其他的方法，本文的结果均有限制的提升。

 

论文笔记整理：王旦龙，浙江大学硕士，研究方向为自然语言处理。

---

OpenKG.CN

中文开放知识图谱（简称OpenKG.CN）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文，进入 OpenKG 博客。