空间注意力机制sam_基于时空图卷积注意力网络的交通速度预测

1、文章信息

《STGRAT: A Spatio-Temporal Graph Attention Network for Traffic Forecasting》。

韩国大学被AAAI 2020 接收的一篇文章。

2、摘要

本文提出了一种新的时空图注意算法，它能有效地捕捉道路网络的时空动态。我们的方法主要包括空间注意力、时间注意力和空间标记向量。空间注意力获取图形结构信息(如道路之间的距离)，并根据道路状态动态调整空间相关性。时间注意力负责捕捉交通速度的变化，而标记向量允许模型从空间相关节点检索新特征或保留现有特征。实验结果表明，STGRAT的性能优于现有的模型，特别是在交通速度快速变化的情况下(如交通高峰期)。此外，我们还提供了定性研究，分析STGRAT主要在什么时候、在什么地方工作，以便在高峰时间做出准确的预测。

3、简介

既有的交通速度预测深度学习模型有以下缺点。既有模型假设道路之间的空间依赖关系固定。换句话说，他们只计算一次空间依赖关系，并且一直使用计算结果，而不考虑动态变化的交通条件。GaAN (Zhang et al. 2018)利用注意力机制应用了不同的道路空间相关性。然而，GaAN没有考虑交通流方向和总体图结构信息(例如，节点之间的距离)，这些信息在决定走哪条道路时起着重要的作用。其次，有使用循环神经网络(RNNs)进行时间建模的模型。然而，RNNs不能直接访问长输入序列中的过去特征，这意味着在捕获长时间相关性方面存在限制。

本文基于自注意力机制提出了一个新的时空图注意网络(STGRAT)用于预测交通速度。STGRAT利用空间和时间的注意力来有效地捕捉道路网络中的时空相关性。与前面提到的使用RNNs进行时间建模的模型不同，STGRAT可以通过使用时间注意力直接访问输入序列的远程特征，而不受任何限制。空间注意力通过图形结构信息，如节点之间的距离和交通流方向，对道路之间的空间依赖性进行建模。为了进一步提高预测精度，我们在空间注意力中加入了标记向量。我们展示了注意力模块的热度图，它揭示了STGRAT在何时何地进行预测。

4、相关工作

通过对道路交通的时空相关性建模，建立了多种深度学习模型来预测短期交通状况。图卷积神经网络(graph convolution neural network, GCNN) (Kipf and Welling 2016)已经成为空间关系建模的热点。GCNN将传感器节点网络视为一种图，并基于卷积系数将相邻节点的信息聚合成特征。这些系数是由空间信息(例如节点之间的距离)计算出来的。

虽然有效，现有的方法使用常量系数，只计算一次适用于所有交通条件。然而，当空间相关是可变的(如速度突变)时，固定系数可能会导致精度不高。与现有模型相比，STGRAT通过根据相邻节点的当前状态和更多的空间信息(如距离、节点连通性、流方向)动态调整相邻节点的系数来提高精度。

Vaswani等人提出了一种新型的自注意力网络Transformer (Vaswani et al. 2017)，该网络能够通过使用多个multi-head self-attention heads动态捕获给定上下文的各种句法和语义特征。与传统的长短时记忆(LSTM)相比，自注意力机制有额外的优势，因为它的过程可以很容易地并行，而且不管接受域的覆盖范围如何，它都会直接处理相关的输入项。由于这些优点，Transformer还贡献了许多其他功能提高NLP任务的准确性。

虽然以前的模型可以用来代替基于gcnn的空间建模，但是它们都有一个缺点——它们没有在空间依赖建模过程中考虑图结构中嵌入的信息，例如节点之间的距离和流方向。与之前的模型相比，STGRAT有一个新颖的空间注意力机制，可以考虑所有的图结构信息。

5、主体内容

文章利用过去12个时间段的速度数据预测未来12个时间段的历史数据，采用了encoder-decoder architecture。(主体介绍部分明天再发)