基于深度ST-残差网络的城市人流量预测 读书笔记

Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction

中文提示：基于深度ST-残差网络的城市人流量预测

 

融合轨迹（人流量）、其他额外数据（气象数据、event、holiday信息）。协同对人流量进行预测。

使用三个CNN模型分别去拟合周期性(period)、邻近性(closeness)和趋势性(trend)，在CNN中使用12个残差单元，每个残差单元包含两个 级联的ReLu和Conv模块，并使用shortcut降低梯度消失的问题。

三个性质用weight权重连接，在不同的region和部分使用不同的权重，因为每个地区对不同因素的敏感性不同。在训练时可以对不同的地区的因素采用线性回归的方法进行组合。

其他特征使用全连接网络进行相连 最后其输出和三个CNN融合的输出再进行结合，相加并通过tanh函数映射到-1,1。

最后在rescale到真值区间。

主要贡献：

1. 将两个区域靠近、远离的空间依赖进行建模，同时确保模型的预测精度，不包括在神经网络的深层结构中。深层的CNN网络可以把远处空间相关性关联进来，对全局预测有很大帮助。同时使用残差结构使得其梯度消失的问题得以缓解，网络可以更加深层。
2. 动态地结合三个网络，对三个CNN网络分配不同的权重，该方法可以对不同区域受不同因素影响重要程度进行建模。
3. 用北京出租车轨迹和气象数据NYC的自行车数据进行评估。
4. 进一步结合其他外部因素（External factors）对实时人流量进行预测天气如下雨/下雪、是否发生重大事件和节假日对人流量影响较大，融合进来后可以有效预测今后发生重大的事情人流。

 

数据预处理：

1. 网格数据，定义进出一个小方块（region）的流量，分别为inflow和outflow；把每个网格进/出的车流量写成（inflow,outflow）的二元组，这样就形成二通道的类似图片的数据，一张图是inflow图，另一张是outflow。
2. 截取需要获取的每天、每小时的人流量统计作为观测数据Xt。

每一个观测张量就是X∈R（2*I*J）

Xt Xt-1…

假定输入的尺寸是32*32 一个网格约为5*5km，那么北京城市区域仅使用一张图（约为32*32）的即可。

 

模型：

时间flow    形成“视频流”

最近几个小时 几帧

1. S-T ResNet  Deep Residual Learning深度残差网络

使用三个深度卷积残差网络去模拟相邻时间车流变化（closeness,用小时数据）、模拟周期性（天，用昨天、前天、大前天的数据）、模拟趋势性（用一周、一月中某些天的数据），具体如下。每张图是32*32，卷积核的大小是3*3，大于15层。

误差函数是最小化预测值和真值之间的MSE：

1. 三个网络进行融合：采用权重的形式，可用回归等模型去学习。

基于参数矩阵的模型融合方法：

不同的地区各个因素（factor）影响程度不同，这是参数矩阵融合方法的权重可视化，可以看到在近邻性特征中，外环区域的影响不是很大，因为长期车辆较少，而在周期性方面，朝阳公园具有很强的影响，因人们外出锻炼、逛公园具有很强的规律性和时间周期性，故这方面影响（权重）较大。

 

3.其他特征提取：使用2层全连接网络生成特征表示：天气、温度、是否节假日、是否发生重大事件、风速风向。

4.最后将两组结果相加并使用Tanh函数映射到-1,1，这样车流量就变成了-1,1之间的值，再rescale回去（应该是使用均值归一化）。

 

注意：残差结构示意图

F是一个残差函数，如上图（b）所示。

训练方法见下图：

输入数据：

1）历史观测数据 X0 X1…

2）额外的特征 E0 E1 E2

3）设定closeness period trend的长度为lc lp lq

Sc=[]

Sp=[]

Sq=[]

({Sc Sp Sq Et},Xt)作为一个实例输入

然后输出 其中所有参数

 

归一化：

利用max-min归一化 到-1，1 预测值为tanh函数输出-1,1 然后rescale到真值，进行误差评估。此处应使用如下均值归一化：

拓展：均值-方差归一化：

缩放到单位长度：

元数据 表示为0、1数据。额外的因素可以转换为one-hot数据。

 

 

可借鉴的点：

1. 参数融合模型 基于参数矩阵的融合
2. 网格划分数据 将时空数据转化为网格类似图像的数据使用CNN网络结构进行
3. 分别拟合数据特性