论文阅读笔记：HetGAT: a heterogeneous graph attention network for freeway traffic speed prediction

针对异质性，即特征异质性（交通流交通速度，动态；路网道路数，静态）采用注意力机制实现。

针对高速路道路交通速度情况预测

4 methodology

4.1temporal attention network

4.1.1 heterogeneous sequential data

在我们的模型中，多个因素在不同的交通条件下有其特殊的趋势。例如，交通流量和交通速度是动态的连续数据，交通道路是静态的路线网络，而车道数偶尔会发生变化。因此，我们需要适当地整合所有这些异质的数据源。由于速度和交通流量属性的不同尺度，我们需要首先进行数据的标准化处理。在此，我们使用Z-score归一化，使用均值mean(⋅)和均值的标准差std(⋅)，更新后的序列数据m′计算如下：

其中m′是速度V或流速F。然后我们每5分钟计算一次数值，在一小时内生成一系列的m′，如X = x1, x2, ..., xt 。接下来，我们将车道数的信息直接串联成顺序数据。最后，我们进行一个非线性变换，表示为

其中W和b是可学习的参数，LeakyReLU是激活函数，它对负值有一个小斜率，而不是ReLU中的精确零值。 

4.1.2 dilated convolution layer

我们采用tempo ral卷积网络（TCN）的强大卷积方法（Bai等人，2018），并通过扩张卷积网络处理不同长度的输入和输出序列。扩张卷积在不损失分辨率或收敛性的情况下，以指数形式扩大了传感器的接受域，而参数的数量则是线性增长。更大的内核感受区增加了捕捉时间背景的净工作能力，这对重建大型复杂的边缘结构是非常重要的。我们提出了两个卷积层。DilatedConv1D用于时间维度，DilatedConv2D用于同时考虑空间和时间维度。我们使用以下tanh和o激活函数。

4.2 heterogeneous graph attention model

4.2.1 traffic network graph

由于交通状况的演变受到基础道路网络的限制，将后者的信息纳入预测模型至关重要。如图3所示，交通网络中有两种类型的节点：观测传感器Oi和收费站Ti，所有的传感器Oi都在一个方向上，而收费站Ti在路上。然后我们可以根据物理网络结构构建一个有向图。很明显，上游流量会影响到下游流量，但反之则不然。例如，传感器O2可以影响传感器O3和O4，而收费站T1可以影响传感器O3和O4。因此，该图有一条有向边和两种不同类型的节点，如图3所示。

 我们用G = (V, E, Ov, RE)来表示具有多个交通设施的图结构。在图G中，V是一个顶点，E是一条边，Ov是不同节点（传感器和收费站）的类型集，RE是不同边的类型集（传感器-传感器，传感器-收费站，收费-收费站）。

4.2.2 node masking（结点屏蔽）

TCN模块处理的数据包含所有节点的特征，而道路（节点）状态只与它的上游节点有关，这意味着如果我们在预测一个节点的速度时不屏蔽下游节点，可能会出现不必要的学习。

基于上述高速公路的单向性，如果我们使用邻接矩阵来恢复空间拓扑结构，我们可以得到一个上三角矩阵。这种特殊的属性可以用来掩盖下游节点的特征。邻接矩阵M是n×n，其中n是节点的总数量。由TCN模块处理的三维矢量h=（h1, h2, ..., ht）是一个n×t×m的矩阵，其中t是序列时间步数，m是每个节点的特征数，在我们的模型中等于3（车辆速度、高速公路流量和收费流量）。我们将矩阵的下三角元素设置为零，因此无法到达的节点的特征可以被屏蔽，如下所示，矩阵M中的元素dij代表每对节点的距离。

 4.2.3 graph attention learner

以上，我们已经生成了一个有向图，并将一个表示向量与图中的每个节点联系起来。在这里，我们利用图注意网络（GATs），这是一种新型的神经网络架构，在图结构的数据上操作，利用掩蔽的自我注意层。在GAT模型中，节点ei和节点j的注意系数aij与节点j的特征对节点ei的重要性有关，可以表示为

 4.3 prediction algorithm procedure

在交通预测的训练中，有两个必要的输入：X = (x1, x2, ..., xt), G = (V, E, O⊑, RE)分别代表t时间步长的时间序列和异质图。

在训练之前，HetGAT模型有三个重要模块需要初始化。FC模块首先将输入通过卷积层，卷积层大小为1×1，然后使用LeakyReLU来激活它。TCN模块将FC模块的输出通过滤波卷积和门卷积，分别用sigmoid和tanh来激活它。GAT模块接收来自TCN模块和由收费站和传感器组成的异质图的输出，以捕捉部分依赖性。

在模型训练过程中，亚当算法被用来优化梯度下降过程。我们将训练数据分成trainX和trainY，然后trainX经过归一化和加偏程序被送入HetGAT模型。最后，预测结果被倒置，损失与trainY一起被计算。时间注意模块和异质图注意模块是这个模型最重要的两个部分。在我们的模型中，输入首先通过时间注意模块来获得关于时间的高维特征，然后通过B来获得关于空间的高维特征。实验的伪代码如下。

 5.5 experimental results

5.5.2 analysis with cases

预测步骤比较 我们在图5中展示了不同步骤长度的预测结果，该图显示了在5到60分钟的不同持续时间内预测的交通速度的MAE和RMSE值。GCN_LSTM模型的MAE和RMSE值随着步长的变化而上升和下降，但其他模型则比较稳定。我们还发现，我们的HetGAT模型在所有的步长上都比其他模型好得多，而且随着预测步长的增加，我们模型的优势变得更加明显。此外，它的RMSE性能在长的时间步长（如60分钟）中略有下降，这反映了它在长期预测中的优势。

我们在图6中展示了不同车道数的速度变化。我们观察到：在17:50之前，由于交通事故和其他原因，有效车道数为4条，在此期间速度大幅下降；17:50之后，有效车道数增加到5条，整体速度增加，变得更加稳定。

从实际值和预测值的曲线中可以看出，低车道数的预测性能比高车道数的预测性能要差，例如，在17:00有很大的偏差，这是因为小车道数往往意味着特殊的交通状况，如交通事故或道路维修。尽管在车速变化较大的情况下很难准确预测车速值，但由于我们改进的TCN层和GAT层对时空特征的提取，我们的模型仍然预测了17点时的车速下降趋势。

立交的影响 在高速公路上，匝道起着分流和合流的作用。在分流的情况下，主干道上的交通流量将减少，而在合并的情况下，主干道的交通流量将增加。考虑到交叉口区域的交通流变化更加激烈，它也可能导致车辆速度的下降。为了讨论交叉口和非交叉口之间的差异，我们分别选择了位于这两个不同区域的两个检测器的预测结果。结果显示为预测曲线、真实曲线和图7和图8中的MAE值。我们可以看到，交汇处的车速比非交汇处的车速要慢，交汇处的风速比非交汇处的要大得多。因此，非交汇区的速度预测的准确性要高于交汇区，这里的MAE值显示了这一点。

6 conclusions and future work

综上所述，我们提出了一个异质图时空注意网络（HetGAT）来进行未来多个时间步长的交通速度预测。值得注意的是，利用门控扩张卷积法来捕捉时间维度上的特征，并引入了修订后的图注意机制来探索节点传播的影响，目的是提高长期预测性能。在三个真实世界的数据集上也进行了实验来验证所提出的方法。结果显示，与现有方法相比，HetGAT产生了最先进的性能，包括最近的深度学习模型。结果还表明，HetGAT在较长的时间步长（长达60分钟）的预测准确性方面的优势。