时序知识图谱推理：Know-Evolve: Deep Temporal Reasoning for Dynamic Knowledge Graphs
0摘要：
带有时间戳的大规模事件数据的可用性催生了边带有时间的动态知识图谱。在动态的知识图谱中，并没有被很好的理解。基于此，本文提出Know-Evolve，这是一种新颖的深度进化知识网络，可以学习时序的非线性进化的实体表示。事实（边）的出现被建模为一个多变量点过程，其密度函数由基于学习的实体嵌入计算的事实的分数调节。本文的方法可以很好的预测事件的发生和复发时间。
1介绍：
推理是个很重要的概念，在很多领域中都要用到。有效的表示和学习知识是个很重要的任务。
在具体方面，知识图谱作为研究复杂多关系环境的重要模型而受到广泛关注。
然而，最近有大量基于事件的交互数据，这些数据除了具有多关系性质外，还表现出复杂的时间动态，因此需要一种能够表征和推理时间演变系统的方法
因此，传统知识图谱需要被扩充到时间知识图谱中，在这些图谱中，事实会随着时间的推移而发生、重复或演变，并且图中的每个边都有与之相关的时态信息。图1显示了这种时态知识图谱的子图快照。
静态知识图谱存在不完备性，导致其推理能力有限。因此，大多数关于静态图的工作都集中在推进实体关系表示学习上，以根据现有知识推断缺失的事实。但是，这些方法缺乏使用由时间知识图表示的基础数据中可用的丰富时间动态的能力。
除了关系（结构）依赖关系之外，有效地捕获事实之间的时间依赖关系有助于提高对实体行为的理解，以及它们如何随着时间的推移导致事实的生成。例如，可以精确地回答以下问题：
1.对象预测。（谁）接下来会提到唐纳德·特朗普？
2.主题预测。（哪个国家）下个月将向美国提供物质支持？
3.时间预测。（什么时候）鲍勃会去汉堡王？
（1，2感觉有点奇怪，和感觉没什么区别）
人（实体）会随着时间的推移而变化，关系也会发生变化。
例如，如果两个国家关系紧张，它们更有可能发生冲突。另一方面，结盟的两个国家最有可能对彼此的敌人采取对抗立场。最后，时间在这个过程中起着至关重要的作用。一个曾经和平的国家，由于该时期可能发生的各种事实（事件），10年后可能不具有相同的特征。能够捕捉到这种时间和进化效应可以帮助我们更好地推理一个实体的未来再循环。我们将这种不断演变的实体及其随时间动态变化的关系相结合的现象称为“知识进化”。
在本文中，我们提出了一个优雅的框架，用于在多关系环境中对实体之间复杂的非线互进行知识演变和推理建模。我们工作的关键思想是将事实的发生建模为多维时间点过程，其条件强度函数由该事实的关系得分调制。关系分数进一步取决于动态演变的实体嵌入。具体而言，我们的工作做出了
以下贡献：
1.我们提出了一种新颖的深度学习架构，该架构会根据新事实的可用性随着时间的推移而发展。动态演进的网络将摄取传入的新事实，从中学习，并根据相关实体最近的关系和时间行为更新其嵌入。
2.除了预测事实的发生之外，我们的架构还能够预测事实可能发生的时间，这是据我们所知的任何先前的关系学习方法都不可能实现的。
3.我们的模型支持开放世界假设，因为缺失的链接不被认为是错误的，并且将来可能会发生。由于其新颖的动态嵌入过程，它进一步支持对看不见的实体的预测。
4.在两个真实世界数据集上的大规模实验表明，我们的框架在链接预测方面始终比不考虑时间和演变的非线性动力学的最新技术要好得多。
5.我们的工作旨在引入时间点过程框架的强大数学工具的使用，用于动态发展的知识图谱的时间推理。随着时间的推移，它有可能为具有潜在时空动态的各种多关系设置的推理开辟一个新的研究方向。
2准备工作
Temporal Point Process（TPP时间点过程）
先解释下：强度函数（intensity function）
这是强度函数的定义式。其意义表示的是：若F(x)表示的是人的寿命分布则
表示的是当已知一个人活了x年，而在x到x+dx时刻内将要死去的概率。
强度函数与密度函数不同。
时间点过程（Cox&Lewis，2006）是一个随机过程，其实现由局部时间的事件列表组成，使用{
}表示，
等价地，给定的时间点过程可以表示为计数程序 N (t)，它记录时间 t 之前的事件数。
一个重要的表示TPP是要通过条件概率强度函数（intensity function）
(t)，给定所有先前事件时间的随机模型。文章中(t)
表示的是给定历史
，
求这个小窗口的事件发生的概率。
文章中假设只有一个事件可能发生在这个窗口中(why?因为是预测未来的某个事件？)，dN(t)的范围在要么是0，要么是1，从上文中，应该表示的是在时间窗口上要么发生了和没发生。
（在历史T的条件下，事件在t，t+dt发生的概率）
文章中从生存理论分析
，文章中描述当在[tn,t)中没有事件发生的条件概率为
生存分析理论：生存分析指的是一系列用来探究所感兴趣的事件的发生的时间的统计方法。常见的有1）癌症患者生存时间分析2）工程中的失败时间分析等等。包括本文使用生存分析（Survival Analysis）、Cox风险比例回归模型（Cox proportional hazards model）及_dqhl1990的博客-CSDN博客
此外在该时间t上发生的条件概率密度函数（density）
（上面那个公式推导和上方最开始的一样，F(x)如果表示的是概率密度，若S表示的是不可能事件，则有S=1-F，显然可以推出上式子）
强度 λ(t) 的函数形式通常用于捕捉感兴趣的现象。一些常见的形式包括：Poisson Process, Hawkes processes (Hawkes, 1971), Self-Correcting Process (Isham & Westcott, 1979), Power Law and Rayleigh Process.这些都在点过程 - 知乎有介绍，下面有参考文献。
介绍了Rayleigh Process，事件可能性在上升到峰值后迅速下降，本文用其为。其强度函数为，
,推导出
通过生存理论分析的结果可以推导出
时序知识图谱的表示
本文将时态知识图谱（TKG）定义为多关系有向图，在任何一对节点之间具有时间戳边。在 TKG 中，两个节点之间的每个边表示现实世界中的一个事件，边类型（关系）表示相应的事件类型。此外，一条边可能多次可用（重复）。文章作者假设不允许重复的边（边和关系是有区别的）和自回归的图。因此，所有循环边将具有不同的时间点，并且每个边将具有不同的主体和宾语实体。
使用四元组（es，r，eo，t）表示时序知识图谱中的实体，es
eo，它表示在时间 t 处创建主体实体 es 和对象实体 eo 之间的关系边 r。所以一个完整的TKG可以表示为一个
的张量。并将相应 N 个观测事件的全局有序集合表示为 D=
,t是递增。这里是以N为边的数量（边是唯一的，因为带时间的）。
3Evolutionary Knowledge Network（进化知识网络）
我们提出了我们的统一知识进化框架（Know-Evolve），用于对时间知识图进行推理。Know-Evolve的推理能力源于以下三个主要组成部分：
1. 一种强大的时间点过程数学工具，用于模拟事实的发生。
2. 双线性关系评分，捕捉实体之间的多关系相互作用，调整上述点过程的强度函数。
3. 一种新的深度循环网络，它根据实体与多关系空间中其他实体的相互作用，学习非线性和相互进化的潜在表示。
3.1时序过程
大规模时序知识图表现出实体之间事件的高度异构性时间模式。知识图谱中的异构 - 百度文库，因为在时序中，不同的时间段会对某个名词进行重新定义等变化。
基于离散epoch的模型对这种时间行为进行建模的方法无法捕获潜在的错综复杂的时间依赖关系。因此，我们将时间建模为随机变量，并使用时间点过程来模拟事实的发生。
更具体地说，给定一组对应于TKG的观测事件O，我们构建了一个关系调制的多维点过程来模拟这些事件的发生。我们使用以下条件强度函数表征此点过程：
其中 t > 
，t 是当前事件的时间， = max（tes −， teo −） ,（在文章中t-表示的是发生前的那个时间点）。是主体或客体实体在时间之前参与事件的最近时间点t.对于是作为这个事件在给定时间t，在给定之前的（任何一个涉事实体的最近时间）的强度函数。这根据任一实体时间轴上的最新活动来调节当前事件的强度，并允许捕获非周期性事件和以前未见过的事件等场景。f（·） = exp（·） 确保强度函数是积极的和定义明确的。g关系评分函数，后文有说。
3.2关系评分函数
g使用双线性公式计算如下 ，（下面这个是双线性函数的形式）
分别取主语实体和宾语实体在t时刻前，最新更新过的嵌入向量。
是d*d维的，即每一个关系r都对应一个关系矩阵。将它们乘起来。 Rr表示的是权重矩阵。由于这些实体嵌入
随着时间的推移而发展和更新，g能够捕获在影响其嵌入的事件的历史中了解实体的累积知识。
3.3动态进化实体表示
我们用低维向量 ve（t） 表示实体 e 在时间 t 处的潜在特征嵌入。我们还对每种关系类型使用特定于关系的低维表示。
实体的潜在表示会随着实体相互建立关系而随时间而变化。我们设计了新颖的基于深度递归神经网络的更新函数，以捕获其向量空间表示中相互演变和非线性的整体动态。我们考虑在时间t发生的事件m = （es， r， eo， t），m ∈ D。另外，考虑事件 m 是实体 es 的第 p 个事件，同时是实体 eo 的第 q 个事件。由于实体以异构模式参与事件，因此p = q的可能性较小，尽管并非不可能。
观察到此事件后，我们更新了两个相关实体的嵌入，如下所示：
其中，ves，veo ∈Rd.tp =tq =tm 是观测到事件的时间。
表示的是
第p-1个和需要查询的事件
文章中使用RNN进行的概括前文的知识，这里可以在（5）（6）中体现。
rnn网络结构
下面我们解释我们的深度循环架构的基本原理，该架构捕获了实体随时间推移的非线性进化动态。
Reasoning Based on Structural Dependency:
隐藏层（
）通过捕获最近subject嵌入与主体实体先前关系中最新object嵌入的兼容性来引起事件,这解释了在短时间内实体倾向于与具有类似近期操作和目标的其他实体形成关系的行为。
Reasoning based on Temporal Dependency:
递归层使用隐藏层信息来模拟实体嵌入随时间推移的相互交织的演变。具体来说，这一层有两个主要组成部分：
1.公式(5)和(6)中节点编码部分中第一项 W(tp−tp−1) 记录了节点编码随时间的偏移，可以看作是一种外部影响
2.特定关系下的相互进化：主体和客体实体的潜在特征相互影响。在多关系环境中，这进一步受到它们形成的关系的影响。使用来自隐藏层的信息对实体嵌入进行定期更新，可以捕获实体相对于自身和特定关系空间中另一个实体的复杂非线性和进化动态。
4. Efficient Training Procedure(训练）
第一项：happened events，最大化在特定关系下两个实体之间事件发生的概率；
第二项：survival term，惩罚给定时间窗口中所有可能实体对之间不存在事件的概率。
展开式：
