Graph WaveNet：用于时空图建模的图神经网络结构

1.文章信息

文章题为《Graph WaveNet for Deep Spatial-Temporal Graph Modeling》是一篇发表于“Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence (IJCAI-19)”，有关时空图建模的论文。

2.摘要

时空图建模是分析系统中各组成部分的空间关系和时间趋势的一项重要任务。现有的方法大多捕捉固定图结构上的空间依赖性，假设实体之间的潜在关系是预先确定的。但是，显式的图结构（或关系）并不一定反映真实的依赖关系。此外，现有的方法无法捕获时间趋势，因为这些方法中使用的RNN或CNN不能捕获长期时间序列。为了克服这些限制，这篇文章提出了一种图神经网络结构Graph WaveNet，用于时空图建模。该模型通过建立一种新的自适应依赖矩阵，并通过节点嵌入对其进行学习，从而精确地捕捉到数据中隐藏的空间依赖。通过叠加扩张的一维卷积分量，其接收域随着层数的增加呈指数增长，Graph WaveNet能够处理非常长的序列。这两个组件无缝集成在一个统一的框架中，并以端到端的方式学习整个框架。文章在METR-LA和PEMS-BAY两个公共交通网络数据集上的进行实验。结果表明，该算法具有良好的性能。

该文章的创新点总结如下：

• 文章构造了一个自适应的邻接矩阵，该邻接矩阵保留了隐藏的空间相关性。所提出的自适应邻接矩阵能够从数据中自动发现不可见的图结构，而不需要任何先验知识的指导。实验证明，文章所提出的方法改善了空间依赖已知存在但没有提供的结果。

• 文章提出了一个有效和高效的框架，以同时捕获时空相关性。其核心思想是将自适应的图卷积与扩展的因果卷积组合在一起，每个图卷积层在不同粒度上处理扩展的随卷积层提取的节点信息的空间依赖性。

• 最后，文章在交通数据集上评估我们提出的模型，并以较低的计算成本获得最先进的结果。

3.模型细节

图卷积层（Graph Convolutional Layer）：

扩散卷积层，在时空建模中被证明是有效的。该方法用K个有限步建立了图信号扩散过程的模型。文章将其扩散卷积层推广如下所示的形式：

其中，表示矩阵的幂级数。对于无向图而言，对于有向图而言，扩散卷积存在两个方向，即前向与反向。对于前向而言，；对于反向而言，。因此，对于有向图而言，上述扩散卷积层的式子可以写作下式：

文章提出了自适应邻接矩阵。这种自适应邻接矩阵不需要任何先验知识，通过随机梯度下降进行学习，旨在让模型发现隐藏的空间相关性。文章通过设置两个可学习的参数，并随机初始化从而实现自适应邻接矩阵。自适应邻接矩阵构造方法如下：

其中，E1被命名为源节点嵌入，E2被命名为目标节点嵌入。通过将E1和E2相乘，文章得到源节点和目标节点之间的空间依赖权值。文章使用ReLU激活函数用于消除弱连接。利用SoftMax函数对自适应邻接矩阵进行归一化处理。因此，归一化的自适应邻接矩阵可以看作是一个隐藏扩散过程的转移矩阵。通过结合预定义的空间依赖和自学习的隐藏图依赖，文章提出了以下图卷积层：

当图结构不可用时，上述模型也可以修改为单独使用自适应邻接矩阵来捕获隐藏的空间相关性，即：

时间卷积层（Temporal Convolutional Layer）：

文章采用扩张因果卷积作为其时间卷积层（TCN）用于捕获节点的时间特性。扩张的因果卷积网络通过增加层深度，从而允许指数级大的接收域。与基于RNN的方法不同，膨胀的随卷积网络能够以非递归的方式正确处理较长的序列，有利于并行计算和缓解梯度爆炸问题。扩展的因果卷积通过向输入填充零来保持时间上的因果顺序，因此对当前时间步的预测只涉及历史信息。作为标准1D卷积的一种特殊情况，扩张因果卷积运算通过跳过某一步的值在输入上滑动，如下图所示。

给定输入以及滤波器，x与f在第t个时间步处的扩张因果卷积运算表示如下：

其中d是扩张系数用于空值条约长度。通过堆叠若干个扩张卷积层从而实现接收域的指数级增长。

文章采用门控TCN（Gated TCN）构建时间卷积层，给定输入，门控TCN数学表示如下：

其中为模型参数。为激活函数，为sigmoid函数，用于控制信息传递率。

Graph WaveNet框架：

上图展示了Graph WaveNet的框架。该模型由叠加的时空层和输出层组成。时空层由图卷积层(GCN)和门控时间卷积层(Gated TCN)构成，门控时间卷积层由两个并行的时间卷积层(TCN-a和TCN-b)组成。通过叠加多个时空层，Graph WaveNet能够处理不同时间层次的空间依赖性。例如，在底层时GCN接收短期时间信息，而在顶层，GCN处理长期时间信息。图卷积层的输入h为三维tensor，其维度为（N，C，L），其中，N代表节点个数，C代表隐藏维度，L代表输入序列的长度。

4.实验

文章在两个公共交通网络数据集METR-LA和PEMS-BAY上验证了Graph WaveNet有效性。实验结果如下表所示。

此外，文章在测试数据快照上绘制Graph WaveNet和WaveNet的60分钟前的预测值与真实值，如下图所示。结果表明，Graph WaveNet能够产生比WaveNet更稳定的预测。特别是WaveNet产生的红色尖峰，与实际值相差甚远。相反，Graph WaveNet的曲线始终处于实值的中间。

进一步，文章探讨了自适应邻接矩阵的优势，通过构建采用不同图结构的模型进行实验。结果如下表所示，并对自适应邻接矩阵进行可视化展示。

5.总结

该文章提出了一种新的时空图建模模型。该模型通过将图卷积与扩展的随机卷积相结合，有效地捕获了时空相关性。文章提出了一种有效的方法来自动从数据中学习隐藏的空间相关性，为时空图建模开辟了一个新的方向。在两个公共交通网络数据集上，Graph WaveNet实现了最先进的结果。在未来的工作中，文章将研究在大规模数据集上应用Graph WaveNet的可扩展方法，并探索动态空间相关性的学习方法。

Attention

欢迎关注微信公众号《当交通遇上机器学习》！如果你和我一样是轨道交通、道路交通、城市规划相关领域的，也可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！