【论文笔记】动态图神经常微分方程 Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs

Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs

1.摘要：

多元时间序列预测在能源消耗和交通预测等实际应用中一直受到了广泛的关注。虽然最近的方法显示出良好的预测能力，但它们有三个基本的限制。(i).离散的神经结构：交错使用单独参数化的空间和时间块来编码丰富的潜在模式，会导致不连续的潜在状态轨迹和更高的预测数值误差(ii).高复杂性：离散方法使具有专用设计和冗余参数的模型复杂化，导致了更高的计算开销和内存开销。(iii).依赖于图的先验：依赖于预定义的静态图结构限制了其在现实应用中的有效性和实用性。在本文中，我们通过提出一个用动态图神经常微分方程(MTGODE)预测多元时间序列的连续模型来解决上述所有的局限性。具体地说，我们首先将多元时间序列抽象为随时间变化的节点特征和未知图结构的动态图。然后，我们设计并求解了一个神经ODE来补充缺失的图拓扑和统一的空间和时间消息传递，允许更深层次的图传播和细粒度的时间信息聚合来表征稳定和精确的潜在空间时间动态。我们的实验从不同的角度证明了MTGODE在五个时间序列基准数据集上的优势。

2.动机：

• 多变量时间序列数据可以解释为每个传感器上记录的单变量时间序列的组合，它们可以相互关联和相互影响。例如，日平均气温的上升可能会导致沿海道路上的交通量的增加。因此，因此，多元时间序列预测在很大程度上依赖于对潜在的时空相关性的建模，这也直接影响了上述应用和许多其他现实应用的可靠性。
• 近年来，基于图神经网络(GNNs)的技术在同时建模多个时间序列之间的时空相互依赖关系方面显示出了巨大的潜力。图作为一种特定的数据格式，可以用来描述实体之间的互连。在多元时间序列预测的背景下，这些方法的本质是利用历史观测和预定义的图结构来预测未来的节点特征。

3.存在的问题

虽然过去图神经网络的许多方法在交通预测方面表现出了具有竞争力的性能，但它们仍然面临以下挑战:

• 离散的神经结构。现有的多元时间序列建模工作是基于完全或部分离散的，而不是参数化潜在状态的连续动力学神经结构，这导致了不连续的潜在状态轨迹和更高的数值误差，严重阻碍了下游任务的预测准确率。为了更好地证明这一点，我们在图中绘制了四种典型方法在多变量时间序列数据上学习时的潜在状态轨迹。另外，离散神经结构的另一个限制是图的浅层传播，如MTGNN和STGCN方法，由于过平滑的挑战，这使得这类模型无法考虑来自更远的邻居的空间相关性，并进一步限制了它们的预测能力。
  
  个人理解：每种颜色的线表示多元时间序列中单个变量的潜在状态。可以看出GRU是每隔一段时间进行一次时间聚合，每个变量的状态更新一次,MTGNN则是在每段时间内又进行了多次“图卷积”操作（相当空间卷积），使得变量与周围相关变量进行“交叉融合”，然后每隔一段时间进行一次时间聚合。虽然STGODE用ODE生成了连续的图传播（每时每刻进行空间卷积），但其时间聚合仍然是离散的。相比之下，MTGODE允许建模完全连续的潜在时空动态特征。
• 高复杂性。分散地叠加单独参数化的时空模块和时间模块，不仅导致不连续的潜在状态轨迹，而且使得模型因为专用的模块 (例如， residual and skip connections）和大量的冗余可训练参数而复杂化，从而导致计算量大且内存效率低下。
• 依赖于图先验。许多现有的基于GNN的预测模型，都需要关于图结构的先验知识 (即变量之间的稳定互连)。然而，这种知识在大多数情况下通常是未知的，这阻碍了它们在更广泛的现实场景中的应用。

4.本文贡献

在本文中，我们通过提出了一种利用 动态图神经常微分方程(MTGODE) 预测多元时间序列的新方法来解决上述所有挑战。受现有工作的启发，我们的模型允许明确地编码潜在空间中任意多元时间序列的 完全连续的时空动态，这大大有利于各种下游预测任务。本文是首个将抽象的输入序列表示为随时间变化的节点特征和未知图结构的动态图。我们提出了一种连续的图传播机制和一个图结构学习模块来解决第一和第三个挑战，这大大减轻了在GNN中的过平滑问题，从而允许在动态自提取的图结构上进行更深入的连续传播，以捕获时间序列之间的长期空间相关性。

本文的贡献：

1. 本文是首次提出通过使用两个耦合的ODE来统一时间与空间的消息传递，从而针对任意多元时间序列来学习完全连续的时空动态的的模型。
2. 我们提出了一个空间神经ODE和一个图形学习模式来学习连续长范围内的空间动态特征，减轻了GNN中对静态图先验的依赖和常见的过平滑问题。
3. 我们提出了一个时间神经ODE, 以此来学习时间序列连续细粒度的时间动态，它与空间神经ODE共同构成了一个更为强大且有效的预测模型。
4. 我们进行了大量的实验，证明了该方法的有效性和有效性，表明该方法具有较好的应用前景。

5.模型

5.1将离散推广为连续

这里以一个L层的残差网络为例，介绍了将离散的神经网络推广为连续的神经网络的范式。具体公式没有太理解。

5.2 MTGODE模型组成部分

CGP（continuous graph propagation）

上图描述的是K阶离散的图传播，然而当在图上进行深度传播时，这种离散公式容易出错，并且容易出现过度平滑，而过平滑现象不利于精确地捕捉长时间的空间依赖关系（这不仅导致无限的数值误差，而且还会使图的拉普拉斯特征值在离散传播中趋于零）。造成这两个问题的根本原因K阶的传播可以按照时间间隔继续进行分解。K相当于空间卷积的次数。

上图是改进后得到的连续的图传播公式。能够避免离散图传播的两大问题，附录含具体证明。

上述指出在连续图传播中还引入了注意力机制进行变换。

动态图结构学习（Dynamic graph structure learning）

上述图结构学习方法能够通过不断优化参数得到动态的图结构，且不需要先验图，解决了对先验图的依赖问题。

CTA (Continuous Temporal Aggregation)

鉴于RNN在捕捉长期范围时间序列上的缺点，如耗时迭代和梯度爆炸，我们可以堆叠多个剩余卷积块来提取和聚合时间模式以一种非递归的方式：

Q为每层聚合的时间长度。

• TCN时间卷积的大致含义如下图：
  
  
  通过使得积分区间趋向于0，相当于进行连续的时间聚合。
  
  在TCN的基础上引入门控机制，从而能够更好地捕捉细粒度的时间特征。

模型融合

MTGODE没有简单地将CGP和CTA端到端地连接起来，而是将外部CTA过程的每个中间状态作为内部CGP过程的初始状态，从而允许模型以一种完全连续的方式来表征输入序列的潜在交错的时空动态，从而为下游预测任务获得更具表现力的表征。

6.实验结果

实验采用的数据集 ：选择了5个时间序列数据集，其中前3个数据集无预定的图结构，最后2个交通数据集有预定的图结构。

实验任务： 时间序列单步，多步预测任务

对比方式： 在时序单步预测任务中使用无预定图结构的3个数据集与其他7种模型（不需要或未使用图结构的模型）进行相应指标的对比。
在时序多步预测任务中使用有预定图结构的2个数据集与另7种模型（使用了图结构的模型）进行相应指标的对比。

实验结果:

消融实验：
**
参数敏感性分析：