论文笔记《ST-GRAT: A Novel Spatio-temporal Graph Attention Network for Accurately Forecasting》

文章《ST-GRAT: A Novel Spatio-temporal Graph Attention Network for Accurately Forecasting Dynamically Changing Road Speed》

1. INTRODUCTION

• 预测道路交通速度的难点：（1）路段类型不同；（2）速度的突然变化；（3）路段间的空间依赖性。
• 存在问题1： 很多基于图卷积和循环神经网络的深度学习方法用于预测交通速度，例如扩散递归神经网络DCRNN 和 Graph WaveNet，但这些模型的问题是：假设路段的空间依赖性是固定的， 因此计算一次空间依赖性就不变了，没有考虑交通状态的动态变化性。为解决这个问题，现有模型应用 多头注意力 对空间依赖性建模，但没考虑整体图结构信息（如节点的距离、连通性和方向）
• 存在问题2： 很多模型都用RNN对时间维度建模，但RNN难以捕获长程相关关系。为解决这个问题，可以加入attention，但现有研究没有考虑时间动态性，比如有的节点在不必要的情况下也会聚合邻居节点信息。
• 本文提出名为 spatio-temporal graph attention (ST-GRAT) 的模型，包含三方面：（1） spatial attention 模块，包括扩散过程diffusion prior 、有向头directed heads 和距离嵌入distance embedding ；（2）temporal attention 模块捕获交通速度变化；（3）sentinel vectors 前哨向量模块，本文设计空间前哨(spatial sentinel) 的 key 和 value 向量。
  实现动态允许模型从空间相关节点获取新特征或保留现有特征。

2. RELATED WORK（略）

3. PROPOSED APPROACH

3.1 Problem Setting for Traffic Speed Forecasting

• 目标是预测每个感测器处的未来交通速度。
• 输入图是 $\mathcal{G}=(\mathcal{V},\mathcal{E},\mathcal{A})$ ，$\mathcal{V}$ 是传感器点集，$\mathcal{E}$ 是边集，$\mathcal{A}$ 是有权重的邻接矩阵。
• $t$ 时刻输入的特征矩阵 $X^{(t)}\in {\mathbb{R}}^{N\times 2}$，$N$ 是节点数目，$2$ 是特征数（速度和时间戳）

3.2 Encoder Architecture

模型整体结构如下：

• 左侧（橘色）整个是Encoder部分，包含一个Embedding层、四个同样结构的Encoder层。
• 一个Encoder层（紫色）中包含一个空间注意力层、时间注意力层和前馈层。

3.3 Embedding Layer

• 加入预训练节点嵌入，编码后的特征用于空间注意力的计算。同时，也可以起到位置嵌入的作用，即能考虑输入序列的顺序。

3.4 Spatial Attention

• 空间注意力层由多头注意力组成，奇数序号的头表示inflow，偶数序号的头表示outflow。定义Encoder层的隐藏层状态是 $\mathcal{Z}=\left[z_i,\cdots ,z_N\right]$，$z_i\in {\mathcal{R}}^{d_{\text{model}}}$ 是第 $i$ 节点的隐藏状态。${\mathcal{N}}_i$ 是第 $i$ 节点及其邻居节点。为防止关注到无关信息，加入空间前哨 key \ value 向量。
• $o_i^h\in {\mathcal{R}}^{d_v}$ 表示第 $h$ 注意力头的第 $i$ 节点输出特征，$$o_i^h=\left(1-\sum _{j={\mathcal{N}}_i}{\alpha }_{i,j}\right)\ast \left(z_i{W}_h^{V_s}\right)+\sum _{j={\mathcal{N}}_i}{\alpha }_{i,j}\left(z_j{W}_h^{V_n}\right)$$
  其中 $W_h^{V_s}\in {\mathcal{R}}^{d_{\text{model}}\times d_v}$ 和 $W_h^{V_n}\in {\mathcal{R}}^{d_{\text{model}}\times d_v}$ 分别表示前哨向量value矩阵和空间注意力的value矩阵。
• 注意力得分系数 ${\alpha }_{i,j}=\frac{\exp \left(e_{i,j}\right)}{e_{i,s}+{\sum }_{j=N_i}\exp \left(e_{i,j}\right)}$，其中 $e_{i,j}$ 表示两个节点间的 energy logits，$e_{i,s}$ 表示前哨向量的 energy logits
• energy logits 利用 query 和 key 向量计算得到，$e_{i,j}=\frac{\left(z_i{W}_h^{Q_N}\right){\left(z_j{W}_h^{K_N}\right)}^T}{\sqrt{d_k}}+P_h(\mathcal{A})$，为显示捕捉边缘信息，加入基于图传播过程的 $P_h(\mathcal{A})$。
• 流入（注意力头是奇数序号）的 $P_{2m+1}(\mathcal{A})={\sum }_{k=0}^K{\beta }_h^k\ast {\left(D_I^{-1}{\mathcal{A}}^T\right)}^k$；流出（偶数序号）的 $P_{2m}(\mathcal{A})={\sum }_{k=0}^K{\beta }_h^k\ast {\left(D_O^{-1}\mathcal{A}\right)}^k$，其中 $K$ 是扩散过程的传播步数，$D_I$ 是入度矩阵，$D_O$ 是出度矩阵，${\beta }_h^k$ 是第 $k$ 步的第 $h$ 注意力头的权重，是个超参数。
• 计算完每个注意力头的输出之后，拼到一起 $z_i^{\ast }=\mathrm{concat}\left(o_i^1,\dots ,o_i^H\right)W^{O_N}$

3.5 Temporal Attention

和空间注意力部分不同的是：

• 没有前哨向量，没有传播部分
• 时间注意关注每个节点的重要时间步骤，而空间注意关注每个时间步骤的重要节点。

3.6 Decoder Architecture

• 右侧（绿色）整个是Decoder部分，包含一个Embedding层、四个同样结构的Decoder层。
• 一个Decoder层中包含一个空间注意力层、两个时间注意力层和前馈层。
• 整体和Encoder部分差不多一样，只是这部分有两个时间注意力层（这两个不同），一个是masked attention layer，另一个是encoder-decoder(E-D) attention layer。（注：为什么这么安排，去看Tranformer的原始文章就好了，跟那个结构一样。也可以看李宏毅老师的课）

4. EVALUATION

（待补充）