基于图关系归纳偏差的小样本交通预测

文章信息

《Few-shot Traffic Prediction with Graph Relational Inductive Biases》，香港理工大学团队发表，近期投稿在AAAI Press上的一篇文章。

摘要

准确的短期交通量预测在各种智能移动运营管理系统中起着举足轻重的作用。目前，大多数最先进的预测模型都是基于图卷积网络(GCN)的，所需的训练样本与流量网络的规模成正比。在许多城市，由于数据收集费用的原因，可用的交通数据量大大低于训练机器学习模型的最低要求。在大规模网络上建立小规模训练数据的交通流量预测模型仍然是一个有待解决的问题。为了解决这个问题，该文章注意到一个节点未来的流量状态只取决于其局部邻域的流量状态，而邻居关系可以用图形关系归纳偏差表示。针对这一问题，文章提出了一种基于图网络(GN)的深度学习模型 (LOCALEGN)，该模型使用局部数据聚合和更新以及循环神经网络来描述交通动态。该模型的参数个数与网络规模无关，因此可以解决缺少训练样本的问题。通过六个数据集对所提出的模型对交通速度和流量的预测进行了检验，实验结果表明，所提出的模型优于现有的前沿基准模型，尤其是在训练数据规模较小的情况下。并进行了消融研究和敏感性分析，以显示所提出模型的紧凑性和鲁棒性。本文的研究成果有助于开发轻量级的交通预测系统，特别是对于缺乏历史存档交通数据的城市。

介绍

一般来说，流量预测的准确性随着数据大小的增加而增加，可训练参数数目随着网络大小的增加而增加。此外，当网络规模较大时，需要更多的数据来防止由于大量可训练参数而导致的过拟合。总的来说，现有的效果好的深度学习模型需要大量的数据用于训练，以确保在大规模网络上有良好的性能。然而，由于数据收集和传感器维护费用高昂，期望每个城市都存档一个全面和长期的历史数据集是不现实的。如上图所示，如何开发大规模网络上的小数据量流量预测模型是本文研究的关键问题。因此该文章定义了小样本流量预测任务，旨在训练较少的历史流量数据，并在大规模网络上生成准确的短期流量预测。

为了解决这个问题，文章注意到某个节点(目标节点)上的短期流量状态仅取决于其局部邻居的流量状态。更具体地说，如上图所示，τ+1时刻的交通状况主要受τ时刻自身及其邻域交通状况的影响。可以直接观察到，一个节点上流量状态的变化归因于流量(如车辆、流量)的交换，那么远离目标节点的节点就不能直接与目标节点交换流量，因此这些节点的影响是间接的和边缘的。该文章将目标节点的概念locale定义为其相邻节点的信息集合，该信息包括但不限于交通状态（如速度、流量、OD）和静态数据（如道路类型、限速）。并将一个节点的位置可以看作是预测模型的关系归纳偏差，这种偏差强化了深度学习架构中的实体关系。

文章的创新点共有三个：

（1）提出了小样本流量预测任务，并强调了使用每个节点的局部信息(locale)来解决提出的任务中缺乏数据的问题的重要性。

（2）针对小样本流量预测任务，文章提出了局部时空图结构。采用具有关系归纳偏差的图形网络对局部空间模式进行建模，并用递归神经网络描述时间模式。重要的是，LOCALEGN的可训练参数与网络大小无关。

（3）我们对三个真实世界的交通速度数据集和三个真实世界的交通流数据集进行了实验。结果表明，对于小样本流量预测，所提出的模型的性能始终优于其他基线模型。

模型

在本节中，制定了小样本流量预测任务，并介绍了 LOCALEGN 中的每个组件。最后，总结了LOCALEGN中的计算步骤。

（1）小样本交通预测

流量预测任务可以表示为一个回归问题。各种交通数据，如交通速度和流量，都是基于图形的，可以在时空图上建模。不同类型的数据可能与节点或边相关联。例如，点检测器数据与节点关联，而行程时间数据与边关联。我们将与流量数据关联的图定义为有向图 g = (v，e) ，其中每个节点由 i 表示，节点索引集 v = {1,2，i，n_v }。n_v为交通感应器的数量。类似地，边的集合定义为 e = {1,2，k，n_e }，其中 n_e 表示边的数目。节点和边之间的连通性表示图上的关系归纳偏差，邻接矩阵表示为A。

本文建立了基于时间依赖(动态)图的流量预测模型。假设研究期间的时间间隔集合为 T，对于每个时间间隔 τ，定义图 G上的一个与时间相关的数据为 Gτ = (vτ，eτ) ，在 Gτ 中的时间相关数据不仅包括传统的交通数据，还包括其他基于图的数据集，如天气、道路特性等。

传统的交通预测模型可以定义为，而在小样本流量预测任务中，存档时间间隔 t 的集合相对较小，比如 | t | = 10，然后训练 φ 很容易过拟合，使得现有的流量预测模型不适合小样本流量预测。为了解决这个问题，我们提出一个函数 ψ (v^τi，L(i) ^τ) = v^τ+1i，i为节点，其中L(i) ^τ 表示时间 τ 中节点 i 周围的局部信息。

（2）LOCALEGN

该模型主要由四个主要部分组成：节点门循环单元（NODEGRU）、节点和边编码器、图网络（GN）和节点解码器。在每个时间 τ，LOCALEGN 的输入是 Gτ，节点数据 Vτ 馈入节点 GRU 以学习每个节点的时间模式。同时，边缘数据Eτ和节点数据Vτ分别被边缘编码器和节点编码器嵌入。GN用于对节点和边上的局部空间模式进行建模，边信息聚合到节点，然后聚合的节点信息由节点解码器进一步解码。最后，NODEGRU 的时间模式与 GN 的局部空间模式连接，并且使用输出层生成最终预测 v^τ+1i。

（3）NODEGRU

NODEGRU 专注于分别捕获每个节点上 vi 的时间相关性，如下式所示。我们注意到 GRU 分别应用于每个节点，这使得可训练参数取决于网络大小。

（4）Node and Edge Encoder

为了对节点和边数据进行编码，分别使用了两个多层感知机，如下式所示。

编码后的节点和边数据可以形成编码图Gτ = (v τ，e τ)。一般来说，两个编码器可以更好地学习这些节点和边缘数据的潜在表示，并用于输入Gn进一步挖掘空间时间关系。

（5）Graph Network

一般来说，Gn利用节点和边的更新和聚合操作来模拟动态图的演化。特别地，我们的目标是用Gn来演化Gτ到Gτ+1。

在Gn中，两个更新函数φV，φE分别用于更新节点数据和边数据，一个聚合函数用于聚合每个节点的边数据。Gn基于以下三个步骤对动态图 G τ的时空传播进行建模：

1）边更新函数

在第一步中，边更新函数 φE 应用于图中的每条边以计算每条边的更新。对于每条边k，我们将更新后的边数据e^τ k 与k 的尾节点tail(k) 和头节点head(k) 的节点数据合并，然后将合并的数据输入φE， 即输入为边即两端节点数据，输出为边的表示。

2）聚合函数

在第二步中，聚合函数应用于指向节点 i 的所有边。输入为指向i的所有边的数据，输入为指向节点i的所有边的表示。

3）节点更新函数

在第三步中，节点更新函数应用于图中的每个节点。对于节点i，函数φ^V以当前节点数据和上一步计算出的指向节点i的边数据表示为输入，输出为更新后的节点数据，如下式所示：

总体而言，GN 模型将复杂的拓扑图结构分解为每个单节点和边上的相对更新和聚合操作，并且可以相应地建模图上的局部关系，因此它在揭示交通数据的局部空间模式方面非常强大。此外，GN单独应用于每个节点和边，因此它与网络大小无关。

（6）Node Decoder

来自 GN模型的代码由节点解码器进一步解码。与节点编码器类似，节点解码器通过 MLP 建模，如下所示：

（7） Output Layer

在输出层，我们分别结合从 NODEGRU 和节点解码器获得的局部空间和时间信息。空间数据和时间数据连接起来，将得到的向量输入到 MLP 中，用于预测时间 τ + 1 的交通状态，如下所示。

实验结果

最后将模型在六个数据集上进行验证，通过与基线模型比较以及消融实验，并从敏感性分析以及模型参数对比，验证了模型的有效性。

Attention

欢迎关注微信公众号《当交通遇上机器学习》，如果你和我一样是轨道交通、道路交通、城市规划相关领域的，可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！