论文笔记《Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting》
这里写目录标题
- 1. Abstract
- 2. Introduction
- 3. Preliminaries
- 3.1 交通网络
- 3.2 交通流预测
- 4. ASTGCN
- 4.1 整体框架
- 4.2 Spatial-Temporal Attention
- 4.3 Spatial-Temporal Convolution
- 4.3.1 Graph convolution in spatial dimension
- 4.3.2 Convolution in temporal dimension
- 4.4 Multi-Component Fusion
- 5. Experiments
1. Abstract
本文目标是预测交通流，该问题最大的挑战是交通流数据的高度非线性和复杂的关系模式。现存的预测方法缺乏对交通流动态时空关系的建模，于是本文提出一种带注意力机制的图卷积神经网络 attention based spatial-temporal graph convolutional network (ASTGCN) model 具体思路：
模型由3个独立的组件，每个组件分别对交通流3种时间特性 (temporal properties)建模
- 当前 recent
- 日周期 daily-periodic
- 周周期 weekly-periodic
将时间特性分为三类分别建模再融合这一思路，可参考以下两篇文章：
【1】Zhang, J. , Zheng, Y. , Qi, D. , Li, R. , & Yi, X. . (2016). DNN-based prediction model for spatio-temporal data. Acm Sigspatial International Conference on Advances in Geographic Information Systems. ACM.
【2】Zhang, J. , Zheng, Y. , & Qi, D. . (2016). Deep spatio-temporal residual networks for citywide crowd flows prediction.
每个组件包含2个主要部分
- 时空注意力机制 捕获 动态时空相关性
- 时空卷积层通过 图卷积 捕获 空间关系，普通卷积 捕获 时间关系
2. Introduction
Figure 1 主要说明交通流的时空相关性
- 两点之间的加粗线条表示相互影响强度，颜色越深，影响越大
- Fig. 1(a) 从空间角度分析，说明不同路段对于A点影响不同，且随着时间推移 各路段影响强度也会变化
- Fig. 1(b) 从时间角度分析，对于A路段的交通流来说，不同位置的历史观测值，对A路段未来流量有不同影响
现有研究
| 模型 | 局限 |
|---|---|
| 时间序列分析模型 | 难以处理不稳定、非线性数据 |
| 传统机器学习模型 | 用于处理复杂数据，但是（1）难以同步考虑高维交通数据的时空相关性；（2）依赖于特征工程，需要较多专家经验 |
| 深度学习模型 | 如（1）CNN处理网格数据的空间特征；（2） GCN描述图数据的空间相关性。但以上方法均不能同时处理时空特性和动态相关性 |
具体文献综述部分主要从以下三方面分析
- 交通预测
- 基于图的卷积
- 注意力机制
3. Preliminaries
3.1 交通网络
- 将交通网络定义为无向图 G = ( V , E , A ) G=(V,E,A) G=(V,E,A) ，其中 ∣ V ∣ = N |V|=N ∣V∣=N 表示 N N N 个节点； A A A 表示图的邻接矩阵 A ∈ R N × N A\in \mathbb{R}^{N\times N} A∈RN×N
- 每个节点测量三个属性值，分别是flow(预测目标)、occupy、speed
3.2 交通流预测
| 变量 | 含义 |
|---|---|
| f ∈ ( 1 , . . . , F ) f\in (1,...,F) f∈(1,...,F) | 在交通图 G G G 中的每个节点都有 f f f个时间序列数据 |
| x t c , i ∈ R {x_t^{c,i}}\in \mathbb{R} xtc,i∈R | 节点 i i i 在 t t t 时刻的第 c c c 个属性的值， c = f l o w / o c c u p y / s p e e d c=flow/occupy/speed c=flow/occupy/speed |
| x t i ∈ R {{\mathrm{x}}_t^{i}}\in \mathbb{R} xti∈R | 节点 i i i 在 t t t 时刻的所有属性值 |
| X t = ( x t 1 , x t 2 , . . . , x t N ) T ∈ R N × F {{\textrm{X}}_t = \left ( {\mathrm{x}}_t^{1},{\mathrm{x}}_t^{2},...,{\mathrm{x}}_t^{N}\right )^T}\in \mathbb{R}^{N\times F} Xt=(xt1,xt2,...,xtN)T∈RN×F | 所有节点在 t t t 时刻的所有属性值 |
| χ = ( X 1 , X 2 , . . . , X τ ) ∈ R N × F × τ \chi =({\textrm{X}}_1,{\textrm{X}}_2,...,{\textrm{X}}_\tau )\in \mathbb{R}^{N\times F\times \tau} χ=(X1,X2,...,Xτ)∈RN×F×τ | τ \tau τ 个时间片段的所有节点所有属性值 |
| y t i = x t f , j ∈ R {{y_t^i}={x_t^{f,j}}} {\in} {\mathbb{R} } yti=xtf,j∈R | 节点 i i i 在未来 t t t 时刻的 f l o w flow flow 值 |
问题描述
给定 χ \chi χ ，预测未来 T p T_p Tp 时间片段的交通流量序列 Y = ( y 1 , y 2 , . . . , y N ) T ∈ R N × T p {Y={(y^1, y^2,...,y^N)^T} }\in \mathbb{R}^{N\times T_p} Y=(y1,y2,...,yN)T∈RN×Tp ，
其中 y i = ( y τ + 1 i , y τ + 2 i , . . . , y τ + T p i ) ∈ R T p {y^i}={(y_{\tau +1}^i,y_{\tau +2}^i,...,y_{\tau +T_p}^i)} \in \mathbb{R}^{T_p} yi=(yτ+1i,yτ+2i,...,yτ+Tpi)∈RTp
4. ASTGCN
4.1 整体框架
4.2 Spatial-Temporal Attention
- 在空间维度，不同区域的交通状况相互影响，这种相互影响有很强的动态性
- 在时间维度，不同的时间片段的交通流量存在相关性
通过注意力机制捕获以上两种关系，此处以 r e c e n t recent recent 模块为例：
4.3 Spatial-Temporal Convolution
经过注意力机制调整后的输入，被喂入时空卷积模块(spatial-temporal convolution module)，该模块由时空维度的图卷积组成，以捕获来自近邻节点的空间依赖性。同时沿着时间维度卷积，也能够捕获来自近邻时间的时间依赖性。
4.3.1 Graph convolution in spatial dimension
谱图理论将卷积从网格结构数据推广到了图结构数据，本文研究的交通网络实际是图结构数据，为充分利用交通网络拓扑特征，在每个时间片段上，作者采用基于谱图理论的图卷积处理，以挖掘空间维度的相关性。
此处公式推导不展开，基于谱图的（或称频谱域）的图神经网络详细教程，请参考 【GCN】万字长文带你入门 GCN
几个要点：
- 引入切比雪夫展开式近似 L k L^k Lk
- 激活函数为 the Rectified Linear Unit (ReLU)
- 为动态捕捉节点间的相关关系，令 切比雪夫多项式 与 空间注意力矩阵 相乘，即：
4.3.2 Convolution in temporal dimension
在捕获图像的空间维度信息后，再叠加一个普通的卷积层（在时间维度），通过融合近邻时间片段的信息，以更新目标节点的信息，更新公式如下：
总结
- 一个ST Block = 空间注意力 + 时间注意力 + 图卷积 +普通卷积
- 然后，将多个ST Block堆叠，以进一步提取更大“感受野”的关联信息。
- 最后，添加一个全连接层，以保证输出与目标有相同的维度和形状，最后的全连接层使用 ReLU 作为激活函数。
4.4 Multi-Component Fusion
最后这步，就是看看怎么将三个部分（recent / daily-periodic / weekly-periodic segment）的输出融合，融合原则就是从历史数据中学习，因为不同地区 不同时刻的三个部分影响权重不同，公式如下：
5. Experiments
最后的结果肯定是该模型更好，具体对比结果如下，（注：MSTGCN模型指的是，没有注意力机制的ASTGCN）
最后最后小总结：
- 本文中将注意力机制和切比雪夫多项式相乘的思路，还是有点儿新奇的，之后看代码时要关注下此处。
- 突然意识到 对比上篇文章，上篇文章是“三分图”的表示形式，与本文的图不是一个概念，对于能否将上个方法应用到交通领域，还要结合具体模型看。