不确定性时空图建模系列（一）: Graph WaveNet

1、文章信息

《Graph WaveNet for Deep Spatial-Temporal Graph Modeling》。这是悉尼科技大学发表在国际顶级会议IJCAI 2019上的一篇文章。这篇文章虽然不是今年的最新成果，但是有一些思想是十分值得借鉴的，所以放在这里给大家介绍。

2、摘要

时空图建模是分析系统组件的空间关系和时间趋势的重要任务。假设实体之间的基础关系是预先确定的，则现有方法大多会捕获对固定的图结构中的空间依赖性。但是，显式图结构（关系）不一定反映真实的依赖关系，并且由于数据中的不完整连接，可能会丢失真实的关系。此外，由于这些方法中使用的RNN或CNN无法捕获远程时间序列，因此现有方法无法捕获时间趋势。为了克服这些限制，本文中提出了一种新颖的图神经网络架构Graph WaveNet，用于时空图建模。通过开发一种新颖的自适应依赖性矩阵并通过节点嵌入来学习，该模型可以精确地捕获数据中隐藏的空间依赖性。借助堆叠的空洞一维卷积分量，其感受野随层数的增加而呈指数增长，因此，Graph WaveNet能够处理非常长的序列。这两个组件无缝集成在一个统一的框架中，整个框架以端到端的方式学习。在两个公共交通网络数据集METR-LA和PEMS-BAY上的实验结果证明了该算法的优越性能。

3、问题定义

给定图G=(V, E, A)及其历史S步图信号，我们的问题是学习能够预测未来T步图信号的函数f。映射关系表示如下：

4、模型

本文中提出的模型组件相对还是比较简单明了的，主要是由图卷积网络部分和时间卷积网络部分组成。接下来分别详细解析这两个主要部分。

(1)图卷积网络

在本文中图卷积神经网络主要用于捕捉空间依赖关系，采用了扩散卷积（diffusion GCN），这种卷积方式将图信号的扩散过程表示为有限的K步转移矩阵。其基本公式表示为：

在无向图场景中，，而在有向图场景中则前向转移矩阵和后向转移矩阵。在这样的场景下，扩散卷积的公式表示为：

在这项工作中，一个跟往常时空预测问题中采用的图卷积神经网络最不同的地方是还将现实世界中的图建模的不确定性考虑了进来。在以往的工作中，大部分的图结构都是预先定义好的，但是由于知识的偏差性，数据的不完整性都会导致预定义的图结构不一定能反映真实世界中所有的关系。所有本文中首次引入了自适应性图结构的概念。自适应图建模公式如下所示：

其中E1和E2是随机初始化的两个节点的embedding。通过将E1和E2相乘，得出源节点和目标节点之间的空间依赖权重。再使用ReLU激活功能消除弱连接。应用SoftMax函数来归一化自适应邻接矩阵。因此，可以将归一化的自适应邻接矩阵视为隐藏扩散过程的转换矩阵。通过结合预定义的空间依赖关系和自学习的隐藏图依赖关系，本文中提出了以下图卷积层：

如果在图结构无预先定义的情况下，我们可以直接运用自适应部分的图卷积去捕捉空间依赖。

(2)时间卷积网络

论文中采用了空洞因果卷积的方法去捕捉时间轴上的依赖关系。与基于RNN的方法相反，空洞因果卷积网络能够以非递归的方式正确处理长距离序列，这有助于并行计算并缓解了梯度爆炸问题。作为标准一维卷积的一种特殊情况，空洞因果卷积运算通过以一定步长跳过值而在输入上滑动，如图所示：

对于每一层的一维卷积公式表示为：

同时文中还引入了门控结构，用于控制时间卷积网络的信息流，每次卷积后只保留部分有效信息，其公式表示为：

(3)Graph WaveNet的整体结构

如图展示了Graph WaveNet的框架。它由堆叠的时空层和输出层组成。由图卷积层（GCN）和门控时间卷积层（Gated TCN）构成时空层，该门控时间卷积层由两个并行的时间卷积层（TCN-a和TCN-b）组成。通过堆叠多个时空层，GraphWaveNet能够处理不同时间级别的空间依存关系。例如，在底层，GCN接收短期时间信息，而在顶层，GCN处理长期时间信息。

论文中采用的损失函数是MAE损失，定义为：

5、实验结果

论文中使用了两个数据集，分别是METR-LA 和PEMS-BAY。对于一个时间片分别切分为了15分钟，30分钟和一小时，评价指标为RMSE，MAE，MAPE。通过对比实验可以得知Graph WaveNet性能优于大多数的经典模型。

论文中还针对于图结构建模的方式进行了对比，可以看出引入自适应的图结构在效果上都会略好于只采用预定义的图结构。

6、创新点

这篇论文用两个特别值得借鉴的思想，一是引入了自适应的图建模方法，充分考虑了现实世界中的复杂关系，不确定性。二是引入了空洞因果一维卷积模型以替代RNN模型，使得长期时序关系更容易被捕捉，同时也降低了计算优化的成本。关于不确定性时空图建模这一思想，目前已有的工作不是太多，但是是一个未来值得挖掘的方向，在后面几期我还是会为大家介绍该类的相关工作。

Attention

如果你和我一样是轨道交通、道路交通、城市规划相关领域的，可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！