基于多任务深度学习的时空网络流量预测 IEEE TKDE 2019

Flow Prediction in Spatio-Temporal Networks Based on Multitask Deep Learning

文章链接: Flow Prediction in Spatio-Temporal Networks Based on Multitask Deep Learning.

Abstract

时空网络中的流量预测(如车辆、人群和自行车的流量)在交通系统中起着重要的作用，它包括一个节点的进出流量和不同节点之间的过度。然而，这是一个非常具有挑战性的问题，它受到多种复杂因素的影响，如不同地点之间的空间相关性、不同时间间隔之间的时间相关性以及外部因素(如事件和天气)。此外，节点处的流(称为node flow)和节点之间的过渡(边缘流edge flow)相互影响。

为了解决这些问题，本文提出了一个多任务深度学习框架，它可以同时预测时空网络中的节点流和边缘流。在全卷积网络的基础上，本文设计了两个复杂的模型，分别用于预测节点流和边缘流。这两个模型通过耦合其中间层的潜在表示连接起来，并一起进行训练。外部因素（external factor）也通过门控融合机制整合到框架中。在边缘流预测模型中，本文采用嵌入组件来处理节点间的稀疏过渡。基于北京和纽约的出租车数据对本文的方法进行了评价。实验结果表明，该方法在ConvLSTM、CNN和马尔可夫随机场等11个基线之外都具有较好的性能。

一、Introduction

学习他的写法

上图说明了SP-network中的node flow和edge flow。
本文所做的工作就是实现以上预测。

挑战（难点）：

• Scale and complexity
  一个城市具有众多区域(N)，区域间的交互存在($N^2$)的可能；同时还要考虑不同时间下的traffic变化，这给传统机器学习模型例如概率图带来了巨大的挑战。
• Model multiple correlations and external factors（模型需要考虑多种相关性和额外因素）
• Dynamics and sparsity
  $N^2$中交互可能性下，下一时间区域间的transitions具体来看会非常稀疏（相对于$N^2$）。这给预测带来了很大挑战。

为解决以上挑战，本文提出了Multitask Deep-Learning(MDL)来统一和同时地（collectively and simultaneously）预测预测节点和边缘流(flow)。

本文贡献：

• 提出的MDL框架通过deep neural network预测 flow at nodes(entitled NodeNet)和edge flow（entitled EDGENET）,这两种深层神经网络通过它们的潜在层连接起来，并一起训练.另外，这两种flow预测也会通过正则化后用在Loss计算。深度神经网络模型可以解决预测问题的大规模和高复杂性，而多任务框架可以相互加强对每种流类型的预测。
• NODENET和EDGENET都由三个stream全卷积网络(3S-FCNs)组成，包括closeness-stream, period-stream和trend-stream，用于捕获3种不同的时间相关特征，FCN全卷积层同时也会捕获近距离和远距离的空间相关性。 模型中添加了门控组件在时空相关性的基础上融入其他因素。为了解决过渡稀疏性问题，本文在EDGENET中设计了一个嵌入组件（embedding compnent），来将稀疏(高维)输入编码为一个潜在的低维表示。
• 在北京和纽约的数据集上进行了实验，验证了MDL相较于其他基线模型的优势。

二、Problem Formulation

首先通过空间map将地理区域划分为不同区块。

node flow的计算方式：

Transition(edge flow)的计算方式：

将时变图转换为张量：

问题定义：

三、Multitask Deep Learning

模型整体框架：

parametric-matrix-based fusion [33] (PM fusion in Fig. 4)用于整合三种不同的FCN结果。

3.1EDGENET

由于transition matrix的稀疏性，本文利用了natural language processing中的embedding方法，将节点$r_{ij}$的2N-dimension向量映射到k-dimension空间。


另外，为了捕获不同的时间依赖性，本文利用了deep spatio-temporal residual network深度残差网络，可以捕获时间中不同的关键帧(key frames)。

其中p和q为period和trend的时间跨度,$l_c,l_p,l_q$分别为三组时间序列的长度。

输出(即下一个时间间隔的预测)与输入具有相同的分辨率。这种任务与众所周知的图像分割问题非常相似，它可以通过全卷积网络(FCN)来处理。本文利用了3-stream FCN 3个流式全卷积网络来分别捕获close period和trend的时间相关性。

FCN中包含了许多卷积层，每层卷积可以捕获邻近的空间相关性，随着卷积层数量的增加，FCN可以捕获越来越来远的空间dependencies。
但这样会大大增加训练难度，因此本文加入了残差连接来帮助训练。

最后文章通过以下操作综合一个节点的close,period,trend时间特征

3.2NODENET and BRIGGE

nodenet的处理类似edgenet，文章选择了recent、near和distant key frames。通用通过3-stream FCN进行时空信息的的捕获，最后输出为：
之后，文中利用CONCAT Fsusion来综合nodenet和edgenet的输出：

即将通道数相加。

在经过concat fusion后，在最后添加一层卷积，用于将之前的输出恢复到需要预测的形状。

3.3 通过门控机制融合额外因素

外部因素如事故、天气就像一个开关，如果它发生，流动将会发生巨大的变化。
在时间t，本文引入了${\epsilon }_t={\mathbb{R}}^{l_e\times I\times J}$作为区域下的额外因素，门控机制的计算方式如下：

之后，利用基于门控机制的PRODUCT fusion产生融合额外因素的结果：

3.4 损失函数

首先分别表示EDGENET和NODENET的损失。

其中P,Q为指示矩阵，用于保留M,X中值大于0（若为0不考虑预测损失）的位置。
之后将二者结合得到：

3.4.1 随机优化过程

四、EXPERIMENTS

数据集：

对比模型
评价函数
RMSE和MAE

实验结果

对于综合(Fusing)机制的引入带来的影响测试

模型超参数的影响测试

训练数据量的影响（训练数据时间从3个月到3年）：

• 这里感觉纵坐标应该是误差，不知道是不是标错了

网络深度network depth的影响：

多任务组件的影响：

两个节点的case study:

五、相关工作

5.1 spatio-temporal prediction

许多研究都试图从时空数据集中找到一些模式和相关性

[17] “Spatiotemporal periodical pattern mining in traffic data,” in Proc. 2nd ACM SIGKDD
[31] “PRED: Periodic region detection for mobility modeling of social media users,”
[32] “Regions, periods, activities: Uncovering Urban dynamics via cross-modal representation learning,”

有一些工作尝试依据历史信息对个人的运动行为进行预测：
[9] “CityMomentum: An online approach for crowd behavior prediction at a citywide level,” in Proc. ACM Int
[24] “Next place predictions based on user mobility traces,”in Proc. IEEE Conf. Comput. Commun. Workshops
[27] “Prediction of human emergency behavior and their mobility following largescale disaster,” in Proc. 20th ACM SIGKDD

一些工作旨在预测公路级的旅行速度和交通量
[1] “Traffic flow prediction for road transportation networks with limited traffic data,” IEEE Trans.
[25] “Predicting traffic volumes and estimating the effects of shocks in massive transportation systems,”
[5] “Road traffic congestion monitoring in social media with hinge-loss Markov random fields,” in Proc. IEEE Int.
[30]“Accurate and interpretable Bayesian MARS for traffic flow prediction,” IEEE Trans.

而城市级的预测包括：
[14] “FCCF: Forecasting citywide crowd flows based on big data,” in Proc. 24th ACM SIGSPATIAL Int.
[21] “Traffic prediction in a bike-sharing system,”in Proc. 23rd SIGSPATIAL

这两项工作都不同于本文的工作，其提出的方法关注的是单个区域而不是城市，它们也没有使用基于网格的方法来分割城市，而网格的方法需要更复杂的方法来首先找到不规则的区域。

5.2 Classical Models for Time Series Prediction

时空网络中的流量预测可以看作是一个时间序列预测问题。现有的timeseries模型，如自回归集成移动平均模型auto-regressive integrated moving average model (ARIMA，[3])、seasonal ARIMA[26]和向量自回归模型the vector autoregressive model[4]，可以很好地捕捉时间依赖性，但不能处理空间相关性。
[3] Time Series Analysis: Forecasting and Control
[26] “Comparison of parametric and nonparametric models for traffic flow forecasting,”
[4] “Predictions of freeway traffic speeds and volumes using vector autoregressive models,”

5.3 Neural Networks for Sequence Prediction

神经网络和深度学习[10]在计算视觉[19]、语音识别[11]、自然语言理解[20]等领域都取得了巨大的成功。递归神经网络(RNNs)已成功地用于序列学习任务[28]。长短期记忆(LSTM)[15]或门控复发单元(GRU)[6]的掺入使神经网络能够学习长期的时间依赖性。然而，这些神经网络模型只能捕捉空间或时间依赖性。最近，研究人员将上述网络结合起来，提出了一种同时学习空间和时间依赖关系的卷积LSTM网络[29]。这样的网络不能模拟非常长期的时间依赖性(例如，周期和趋势)，随着深度的增加，训练变得更加困难。Zhang等人提出了一种时空残差网络[33]，能够捕获时空相关性和外部因素，但它可能不适合处理大型动态图上的转换。

[10] I. Goodfellow, Y. Bengio, and A. Courville, Deep Learning. Cambridge, MA, USA: MIT Press, 2016. [Online]. Available: http:// www.deeplearningbook.org
[19] “ImageNet classification with deep convolutional neural networks,”
[11]“Speech recognition with deep recurrent neural networks,”
[20] “Distributed representations of sentences and documents,” in Proc. 31th Int. Conf. Mach. Learn.,
[28] “Sequence to sequence learning with neural networks,” in Proc. Int. Conf. Neural Inf. Process
[15]“Long short-term memory,” Neural Comput.,
[6]“Learning phrase representations using RNN encoder-decoder for statistical machine translation,” in Proc. Conf. Empirical Methods Natural Language Process.,
[29] “Convolutional LSTM network: A machine learning approach for precipitation nowcasting,” in Proc. Int. Conf. Neural Inf. Process. Syst
[33] “Regions, periods, activities: Uncovering Urban dynamics via cross-modal representation learning,” in Proc. 26th Int. Conf. World Wide Web