Transformer模型 | 基于Spatial-Temporal Transformer的城市交通流预测

交通预测已成为智能交通系统的核心组成部分。然而，由于交通流的高度非线性特征和动态的时空依赖性，及时准确的交通预测，尤其是长时交通流预测仍然是一个开放性的挑战。在这篇文章中，作者提出了一种新的时空Transformer网络（STTNs）模型，该模型联合利用了动态有向的空间依赖性和长时依赖性来提高长时交通流预测的准确性。文章还提出了一种新的图神经网络，称为spatial transformer，利用自注意力机制对有向空间依赖性进行动态建模，以获取交通流的实时情况和交通流流向。模型在考虑相似性、连通性和协方差等因素的前提下，采用多头注意力机制对不同空间依赖模式进行联合建模。此外，temporal transformer被提出用于双向长时的时间依赖性的多步建模。与现有的模型相比，STTNs能够有效的对长期时空依赖性进行训练。实验结果表明，STTNs在真实数据集PeMS-Bay和PeMSD7(M)上具有竞争力，尤其是长期交通流预测方面。
交通预测中，某个节点的未来交通状态（如速度、流量和密度等）是根据其自身和邻近节点的历史交通数据来预测的，因此对于预测模型来说，有效地捕捉交通流地时空依赖性是非常重要的。交通流预测通常被分为短期（小于30分钟）和长期（大于30分钟）两个尺度。现有的预测方法例如时间序列模型和卡尔曼滤波等在短期预测中表现良好。然而，这些模型对时间序列数据的平稳假设在长期预测中并不实用，因为交通流本质上是高度动态的。另外，模型难以充分捕捉交通流中的时间和空间相关性用于长期预测。
交通网络可以表示为图结构，其中节点代表交通传感器，边代表相