Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks

摘要：长期以来，多元时间序列建模一直吸引着经济、金融和交通等各个领域的研究人员。多元时间序列预测的基本假设是变量之间相互依赖，但如果仔细观察，现有的方法不能充分利用变量对之间潜在的空间相关性。近年来，图神经网络(gnn)在处理关系依赖方面表现出了很高的能力。gnn需要定义良好的图结构来进行信息传播，这意味着它们不能直接应用于依赖关系未知的多元时间序列。在本文中，我们提出了一个通用的图神经网络框架，专门为多元时间序列数据设计。我们的方法通过图学习模块自动提取变量之间的单向关系，可以很容易地将变量属性等外部知识集成到图学习模块中。进一步提出了一种新的混合跳传播层和扩展的初始层，以捕获时间序列中的空间和时间依赖性。图学习、图卷积和时间卷积模块在一个端到端框架中共同学习。实验结果表明，我们提出的模型在4个基准数据集中的3个上优于最先进的基准方法，并在两个提供额外结构信息的交通数据集上取得了与其他方法相当的性能。

面临的挑战：

挑战1:未知的图结构：在大多数情况下，多元时间序列没有显式的图结构。变量之间的关系必须从数据中发现

挑战2:图学习和GNN学习：即使有图结构可用，大多数GNN方法只关注消息传递(GNN学习)，而忽略了图结构不是最优的，应该在训练期间更新的事实。接下来的问题是如何在一个端到端框架中同时学习时间序列的图结构和GNN。

PROBLEM FORMULATION

4 FRAMEWORK OF MTGNN

最高层的MTGNN由图学习层、m个图卷积模块、m个时间卷积模块和一个输出模块组成。

Graph Learning Layer

目标：图学习层自适应地学习图邻接矩阵来捕获时间序列数据之间的隐藏关系。为了消除计算和内存瓶颈，我们采用抽样方法，只计算节点子集之间的成对关系。我们提出的图学习层是专门设计来提取单向关系的

式5-6是一种使邻接矩阵稀疏的策略，同时降低了后续图卷积的计算成本。对于每个节点，我们选择它的前k个最近的节点作为它的邻居。为了捕获动态空间依赖性，它们根据时间输入动态调整两个连接节点的权值。然而，假设动态空间依赖性使得模型在需要同时学习图结构时，很难收敛。一旦模型在一个在线学习版本中被训练，我们的图邻接矩阵也可以随着新的训练数据更新模型参数而改变。

Graph Convolution Module

图卷积模块的目的是融合一个节点的信息与其邻居的信息，以处理图中的空间依赖性。

图卷积模块由两个mixhop传播层组成，分别处理流经每个节点的流入和流出信息。净流入信息是通过将两层mix-hop传播层的输出相加得到的

Mix-hop Propagation Layer.

给定一个图邻接矩阵，我们提出混合跳传播层来处理空间相关节点上的信息流。提出的混合跳传播层包括两个步骤:信息传播步骤和信息选择步骤

4.4 Temporal Convolution Module

时间卷积模块采用一套标准的扩展一维卷积滤波器提取高级时间特征。这个模块由两个扩张的起始层组成。一个扩张的起始层之后是一个切线双曲激活函数，并作为一个过滤器。另一层后面是sigmoid激活函数，其作用是作为一个门来控制过滤器可以传递给下一个模块的信息量。图5显示了时间卷积模块和扩展的初始层的架构。

Dilated Inception Layer

时间卷积模块通过一维卷积滤波器捕捉时间序列数据的顺序模式。想出一个时间卷积模块,能够发现不同模式与不同的范围和处理很长时间序列,我们建议扩张初始层相结合从卷积神经网络两种广泛应用的策略,例如,使用过滤器与多个大小[20]和应用扩张卷积[24]。

Skip Connection Layer & Output Module

Proposed Learning Algorithm

我们提出了一个学习算法，以提高我们的模型处理大型图的能力，并稳定在一个更好的局部最优。在一个图上进行训练通常需要将所有的节点中间状态存储到内存中。或者，在每次迭代中，我们随机地将节点分成几个组，并让算法学习基于抽样节点的子图结构。 这使每个节点都有可能被分配给一个组中的另一个节点，以便计算和更新这两个节点之间的相似性得分。

EXPERIMENTAL STUDIES

文中的创新：主要在提供了一种利用GNN实现多元时间序列预测方法。尤其对时间序列图邻接矩阵建模以及节点之间的消息传递。