2018 Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting

2018 [STGCN] Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting

这是一篇比较早的文章了,之前看过去没有详细写笔记,现在由于复习到GCN相关知识,想要更加深入的了解,于是在此简单记录一下本文的主要思路。

如果搜本篇论文到我的博客,请转身去知乎,这位大佬讲的很详细,而且详细复现!!熊猫侠 pytorch实现

摘要

及时准确的交通预测对城市交通控制和指导至关重要。由于交通流的高非线性和复杂性,传统的方法不能满足的要求中长期预测任务,往往忽视时空依赖性。本文提出了一种新的深度学习框架——时空图卷积网络(STGCN),以解决交通领域中的时间序列预测问题。我们没有应用正则卷积单位和递归单元,而是用表示问题,并且完全用卷积结构搭建模型,它可以以更少的参数实现更快的训练速度。实验表明,我们的模型STGCN通过国防部有效地捕捉到了全面的时空相关性灵多规模的交通网络,并在各种真实世界的交通数据集上始终优于最先进的baseline。

这是在交通研究中第一次应用纯卷积层,来同时从图结构的时间序列中提取时空信息。
2018 Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting_第1张图片
将交通数据建立成时空图结构,在节点之间进行信息传递的方式来获取空间依赖特征。

  • 交通预测任务与道路传感器之间的位置关系有关,也受时间序列的影响。(也就是时空两个维度的依赖性)
  • 假设路网结构是不变的

模型

本文建立了具有完整卷积结构的模型,该模型包括两个时空模块和一个FC层,时空模块用于提取时空依赖性,全连接模型用于最后的预测。ST层包括两个时间层,中间1个空间层。时间依赖的提取是通过带有门限机制的卷积层实现的,如下图的第三部分,时间轴上进行一维因果卷积,用GLU(Gated Linear Unit)门控线性单元充当激活函数;空间依赖通过 图卷积神经网络 进行提取。

  • Temporal: 1D conv + gated mechanism(gated linear units (GLU) )
  • Spatial: It uses 1st Chebnet
  • Training model: MSE
    2018 Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting_第2张图片

下图STGCN 架构(更清晰版)引用知乎解析文章:
2018 Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting_第3张图片

1.1 ST-conv Block

作者用了【三明治】结构,原因有两点,一是通过TCN,可以从GCN中获取更快的节点空间传播;二是帮助网络充分运用瓶颈策略,通过图卷积层对通道C进行降尺度和升级,实现尺度压缩和特征压缩。

GCL = GCN + 残差连接
TCL = Casual CNN + GLU

在时间模块,1-D conv将输入看作长度为M的序列进行一维卷积,有2C个卷积核,大小是 K t K_t Kt,结果大小是 ( M − K t + 1 ) ∗ 2 C (M-Kt+1)*2C MKt+12C,表示PQ的拼接,然后输入GLU中进行门控激活, P ∗ s i g m o i d ( Q ) P*sigmoid(Q) Psigmoid(Q)

与典型的 GLU 不同的是,其中的 1D Convolution 被 Casual Convolution 所取代,最后的 convolution 被 Hadamard Product 所取代。原论文中提到的 Residual Connection ,并不接在 Hadamard Product 之后,而是与 Casual Convolution 之后产生 P 的那一段相连,使得原始输入与 P 融合。
2018 Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting_第4张图片
GLU:从下图可以看出,就是将本身进行两次卷积,其中一次的信息经过sigmoid,作为门限来控制卷积结果。
2018 Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting_第5张图片

数据及实验

2018 Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting_第6张图片

BJER4: (2014.7.1~2014.8.31); 5min; only weekday
PeMSD7:(2012.5~2012.6); 5min; only weekend; 228/1026 sensors
模型的输入:
模型的输出:
评价指标:MSE

参考

  • Spatio-Temporal Graph Convolutional Networks 详解
  • Language Modeling with Gated Convolutional Networks:本文首次提出带门限机制的卷积,作用是取代了同期常用的RNNs,速度更快。门控机制很好理解,就是一部分信息经过sigmoid操作作为门限,来控制另一部分信息对应位置的重要程度。下面不太明白的地方在于,虚线框对于数据的划分,似乎是将单词的向量表示从中间截开了,这有什么意思呢?

你可能感兴趣的:(#,时空序列预测/智慧城市,交通预测,GCN,TCN,GLU,casual,conv)