POI推荐文献阅读笔记1：DeepMove:Predicting Human Mobility with AttentionalRecurrent Networks

摘要

来源：The Web Conference/WWW 2018
时间：2018
作者：Jie Feng,Yong Li,Chao Zhang,Funing Sun,Fanchao Meng,Ang Guo,Depeng Jin
关键词：recurrent neural network attention human mobility
人类移动预测对于广泛的基于位置的应用具有重要意义。移动预测面临三个挑战：
(1)具有时间依赖性和高阶性质的复杂顺序迁移规律
(2)人类移动的多层次周期性
(3)收集到的轨迹数据的不均匀性和稀疏性
在文章中，提出了一种基于注意力的循环网络DeepMove——从长轨迹和稀疏轨迹中学习进而预测人类移动。在DeepMove中，首先设计了一个多模态嵌入循环神经网络，通过联合嵌入控制人体移动的多个因素来捕获复杂的序列转变。然后，提出了一个具有两种机制的历史注意模型，以原则性的方式捕捉多层次的周期性，有效地利用周期性的特性来增强递归神经网络进行移动性预测。在三个具有代表性的现实生活中的移动数据集上进行了实验，广泛的评估结果表明，DeepMove比最先进的模型高出10%以上。此外，与最先进的神经网络模型相比，Deep-Move为预测提供了直观的解释，并为可解释的移动性预测提供了线索

1 INTRODUCTION

从智能交通和城市规划，到移动通信中的资源管理、个性化推荐系统和移动医疗保健服务，人类移动预测在广泛的应用中都具有重要意义。通过预测未来人们倾向于访问的地点，政府可以设计更好的交通规划和调度策略，以缓解交通堵塞和处理人群聚集。Uber和滴滴等拼车平台也严重依赖精确的出行预测技术，以便更好地估计客户的出行需求，并相应地安排资源来满足这些需求。随着这类移动应用程序的普及，从人们的历史轨迹中了解他们的移动模式并预测他们未来的去向已经成为迫切的需要。
宋等人通过测量个体运动轨迹的熵，在人类移动的可预测性中发现了显著的稳定性——根据他们对百万规模用户基础的研究，93%的人类移动是可预测的。到目前为止，已有大量研究将这种确定的可预测性转化为实际的移动性预测模型。早期的移动预测方法大多是基于模式的。他们首先发现预先定义的移动模式(例如：序列模式，周期模式)，然后基于这些提取的模式预测未来的位置。然而，这样的方法不仅会受到预先定义的模式的片面性质的影响，而且还会忽略个人偏好，而个人偏好对移动预测至关重要。最近的发展转向基于模型的方法进行移动预测。他们利用顺序统计模型(例如：马尔科夫链或递归神经网络)，捕捉人体运动的过渡规律，并从给定的训练语料库中学习模型参数。尽管基于模型的移动预测取得了令人鼓舞的结果，但要实现人类移动的高潜在可预测性，仍有几个关键挑战需要解决:(1)人类移动表现出复杂的顺序迁移规律。在实践中，两个任意位置之间的转换可能是时间相关的和高阶的。例如，通勤者在工作日的早上从家搬到办公室的可能性较高，但在周末的早上通常较低。同时，由于人们在上下班路线上可能会去不同的地方(比如早餐地点)，这种变化可能不遵循简单精确的马尔可夫链作为前提，这导致了高阶和不规则的转变模式。
(2)第二，人们的流动往往存在多层次的周期性。周期性已被证明是控制人类移动的一个重要因素。然而，现有的移动性预测模型大多是序列模型，只捕捉迁移规律。此外，移动周期往往是复杂和多层次的，包括日常生活、周末休闲、每年的节日，甚至其他个人周期性活动。所有这些周期性活动以复杂的方式相互交织，难以捕捉。
(3)第三个挑战是记录人类移动数据的不均匀性和稀疏性。与有意收集的跟踪数据(如出租车轨迹)不同，大多数记录人类移动的数据本质上是低采样的，而且位置信息只在用户访问位置服务时才被记录下来。这种稀疏性使得为每个个体训练一个移动模型变得困难。另一方面，聚合所有用户的数据，可能会面临将个性化移动模式混合在一起的问题，预测精度较低。
在本文中，提出了一个基于注意力机制的循环神经网络模型DeepMove，用于从长和稀疏的轨迹预测人类的移动。在DeepMove中，我们利用多模态循环神经网络来捕捉控制人体移动转变规律的多个因素。具体地说，设计了一个多模态嵌入模块，它将稀疏的特征(比如时间、区域、用户)转换为密集的表示，然后将这些表示输入循环神经网络，用来在轨迹序列中建模长期的和复杂的依赖关系。DeepMove能够发现所有用户共享的转变规律，同时灵活利用用户嵌入来捕捉个性化的运动偏好。DeepMove的另一个关键组件是历史注意力模块，它有条理地捕捉到人类流动的多层次周期性。注意组件被联合训练以选择与当前预测时间戳高度相关的历史记录，灵活地利用周期性移动规律来增强神经网络，提高预测精度。更好的是，学习到的注意力权重提供了一种易于解释的方法来理解哪些历史活动在预测过程中被强调。
文章贡献如下：
(1)提出了一个注意力循环模型，DeepMove，用来从长期和稀疏轨迹中预测人类移动。模型结合了两种规律:多样化转变规律性和多层次周期性。DeepMove是第一个同时结合这两个重要规律进行精确移动预测的模型。
(2)设计了两个注意机制，以配合循环模块。第一个是将历史记录直接嵌入到独立的潜在向量中，利用当前状态有选择地聚焦于相关的历史过程;第二个是保留历史记录之间的顺序信息。两者都揭示了人类移动的周期性，将历史记录与当前状况相匹配，并使预测过程合理化。
(3)对三个具有代表性的现实生活移动数据集进行了大量的实验，研究结果表明，Deep-Move比最先进的移动性预测模型高出10%以上。DeepMove展示了出色的泛化能力，并在不同性质的轨迹数据集上具有鲁棒性。此外，与现有的RNN模型相比，DeepMove为预测提供了直观的解释，并阐明了可解释的移动预测。
文章的其余部分组织如下：在第2节中，首先阐述了问题并讨论了作者工作的动机。根据这个动机，将在第3节中介绍DeepMove的架构细节。之后，将模型应用于三个真实世界的移动数据集，并在第4节中对性能进行了大量的实验分析。在系统地回顾了第5节的相关工作之后，在第6节对文章进行了总结。

2 PRELIMINARIES

在本节中，首先以公式的形式阐述移动性预测问题，然后简要介绍了循环神经网络。最后，讨论了想法并概述了我们的解决方案。

2.1 Problem Formulation

定义1：轨迹序列。
定义q为时间戳t和位置标识l的元组，即q=(t,l)给定一个用户标识u，轨迹序列S是一个时空点序列，比如$S^u=q_1{q}_2...q_n$
定义2：轨迹。
给定一个轨迹序列$S^u$和一个时间窗口$t_w$，轨迹是$S^u$在时间窗口$t_w$中的一个序列$S_{t_w}^u=q_i{q}_{i+1}...q_{i+k}$
在第m个时间窗口$t_{w_m}$处，用户当前轨迹定义为$S_{t_{w_m}}^u$,轨迹历史可表示为$S_{t_{w_1}}^u$ $S_{t_{w_2}}^u$ $S_{t_{w_{m-1}}}^u$，其中$t_w$可以是一年中的具体的一天，一周或者一个月。
问题1：移动预测。
给定当前的轨迹$S_{t_{w_m}}^u=q_1{q}_2...q_n$以及相应的轨迹历史$S_{t_{w_1}}^u$$S_{t_{w_2}}^u$…$S_{t_{w_{m-1}}}^u$预测轨迹中的下一个时空点$q_{n+1}$。
在文章中，将时空点的时间间隔量化为一个固定值30分钟，从而将移动预测简化为预测下一个时间间隔内的下一个位置表示l。

2.2 Recurrent Neural Network

循环神经网络是一类具有循环单元和内部存储器单元的神经网络，用于捕获顺序信息。长短时记忆(LSTM)和门控循环单元(GRU)是广泛使用的循环单元。LSTM由一个单元状态和三个控制门组成，用于保持和更新单元状态。根据输入和最后的单元状态，LSTM首先用要保留的部分和要删除的部分更新单元状态。然后，LSTM从单元格状态生成具有可学习权值的输出。GRU是LSTM的一个流行变体，它用一个更新门取代了遗忘门和输入门。
GRU的更新公式如下：
(1)$f_t=\sigma (W_{f_t}{x}_t+W_{f_h}{h}_{t-1}+b_f)$
(2)$r_t=\sigma (W_{r_x}{x}_t+W_{r_h}{h}_{t-1}+b_r)$
(3)$c_t=tanh(W_{c_x}{x}_t+r_t\ast (W_{c_h}{h}_{t-1})+b_c)$
(4)$h_t=(1-f_t)\ast c_t+f_t\ast h_{t-1}$
其中，$x_t$是时间t的输入，$h_{t-1}$是GRU单元的最后一个输出，多重矩阵W是不同门的参数，多重向量b是不同部分的偏置向量，*表示按元素相乘，$f_t$是更新权值的函数，$r_t$是重置门$c_t$是候选对象，$h_t$是输出结果。根据Chuang等文章所述，GRU在多个任务中以较少的计算量实现了相似的性能，所以在模型中将GRU作为了基本的循环单元。

2.3 Overview

虽然循环神经网络作为强大的序列建模工具，可以捕获序列信息的长期依赖关系，但是序列过性能会下降如图1所示，时间越长预测表现越差，因此循环神经网络只能处理一天或者更短的有限长度轨迹。除了长期性，一些别的挑战也让循环神经网络显得无力。首先是人类移动的多层次周期性，一般来说人类的活动存在周期性：日、周、月或者其他个人的周期，所以人类移动的模式是多层次周期性的。由于长期效应和轨迹影响因素的复杂性，一般的循环神经网络在处理这个问题上的作用很小。此外，由于用户大多数是不会报告他们在每个位置的活动，大多数收集到的移动数据是稀疏的不完整的，不能记录人类移动的周期性。通常数据质量问题会从两方面降低性能，第一个是缺少的数据会影响循环神经网络，使其学习到错误的转变信息，第二个是数据稀疏，很难针对每个个体训练模型，即使在获取过渡关系时，循环神经网络也面临着人类移动的时间依赖性和高阶性的问题。综上所述，循环神经网络存在周期性、数据稀疏、过渡复杂等问题，使其无法实现对人体移动的高预测精度。
基于上述观察，提出了一种注意力循环神经网络DeepMove，用于从长、周期和不完全轨迹中预测人类移动。图2展示了解决方案的思路，即不仅来自当前活动的顺序信息决定了下一个移动状态，而且来自轨迹历史的周期信息也起了作用。在DeepMove中，首先使用多模态循环神经网络来捕捉复杂的转换关系，在多模态循环神经网络中，设计了一个多模态嵌入模块来转换稀疏特征比如(用户、位置、时间)变成密集的表示形式，更能表达和计算。然后，它们被联合反馈送到一个循环神经网络，来获得复杂的转变关系。通过对用户进行编码，DeepMove可以区分每个用户并学习个人偏好，同时训练一个模型让所有用户学习并共享相似的移动规律。此外，编码所涉及的时间表示使循环神经网络能够对时间依赖的性质进行建模。
DeepMove的另一个关键组成部分是历史注意模块，该模块旨在通过联合选择当前移动状态下最相关的历史轨迹，捕捉人类移动的多层次周期性特性。历史关注模块首先通过提取器从历史轨迹中提取时空特征，然后，然后，基于时空关系，根据当前移动状态对这些特征进行选择，生成关联性最强的上下文。将这一背景与当前移动状态相结合，不仅可以根据顺序关系，而且可以根据多层次的周期性规律进行移动预测。

3 THE DEEPMOVE MODEL

3.1Multi-modal Recurrent Prediction Framework(多模式循环预测框架)

图3展示了Deepmove的框架。它主要包括了三个方面：特征提取和编码，循环单元和历史注意单元，预测

3.1.1 Feature Extracting and Embedding

轨迹分为两部分:当前轨迹和历史轨迹。循环层对当前轨迹进行处理，对复杂的序列信息进行建模。通过历史注意模块对轨迹历史进行处理，提取移动规律。在此之前，所有轨迹首先由多模态嵌入模块进行嵌入。像马尔可夫链这样的简单模型只能描述像位置这样的内部依赖状态之间的转换。然而，移动的转变受多种因素的影响，如一天中的时间和用户偏好。为此，我们设计了一个多模态嵌入模块，将时空特征和个人特征联合嵌入到密集表示中，以帮助建模复杂的过渡。在实践中，一个轨迹点的所有可用特征，包括时间、位置、用户ID都可以编号。然后将编号后的特征转换为one-hot向量，输入到多模态嵌入模块中。训练集中没有出现的任何新用户的ID号都固定为0。根据word2vec项目，与有限的one-hot表示相比，密集表示能更好地捕捉精确的语义时空关系。另一个优点是这种密集表示总是低维的，这有利于后续的计算。

3.1.2 Recurrent Module and Historical Attention

循环模块旨在捕获当前轨迹中包含的复杂的顺序信息或长期依赖关系。选择GRU作为基本的循环单元，是因为它在保证计算效率 的同时性能不减。循环层以多模态嵌入层嵌入的时空向量序列为输入，逐级输出隐藏状态。这些隐藏状态被称为移动的当前状态。在每一步中，输出隐藏状态传入历史注意模块和预测模块。与循环模块并行的是历史注意模块，它旨在从冗长的历史记录中捕获移动规律。当由来自循环模块的查询向量查询时，它将历史轨迹作为输入和输出最相关的上下文向量。

3.1.3 Prediction

预测模块是将来自不同模块的上下文结合起来完成预测任务的最后一个组件。它由一个连接层、几个全连接层和一个输出层组成。连接层将历史注意模块、循环模块和嵌入模块中的所有特征组合成一个新的向量。在连接层之后，全连接层进一步将特征向量处理成一个更小、更能表达特征的向量。最后，输出层由带有负采样的softmax组成，负采样可以使softmax的对数概率近似最大化。因为它的词汇量大，所以在自然语言处理中得到了广泛的应用。在我们的问题中，位置候选集的大小也可以达到10000个，这使得位置表示稀疏，系统训练困难。在负采样的帮助下，我们的模型可以快速收敛。在实际应用中，负采样的实例是按照均匀分布产生的。

3.2 Historical Attention Module

为了捕捉人类移动的多层次周期性，我们需要一个自动选择器，从轨迹历史中选择当前移动状态最相关的历史记录作为周期代表。受人类视觉注意本质和自然语言翻译中广泛使用的注意机制的启发，设计了一个历史注意模块来实现自动选择。如上面3.1的图3所示，它由两个部分组成:一是生成候选对象的注意候选生成器(attention candidate generator)，这些候选对象反映了移动的规律性;另一个attention selector来匹配候选向量和查询向量，即当前移动状态。下面首先介绍了注意模块的基本构成，然后讨论了两种具体的候选生成机制。

3.2.1 Attention Selector

注意力模块的目标就是计算query向量和候选向量之间的相似度从而产生上下文向量。注意模块被参数化为前馈神经网络，可以与整个神经网络一起训练。下面的图4(a)给出了该神经网络的框架。注意度计算公式如下:
(5)$c_t=\sum {\alpha }_i{s}_i$
(6)${\alpha }_i=\sigma (f(h_t,s_i))$
(7)$f(h_t,s)=tanh(h_t{W}_s)$
s代表历史的特征，W是可学习的参数，ht是表示来自循环层的当前移动状态的query向量，f代表得分函数，σ是softmax函数，ct是上下文输出，表示与当前移动状态相关的周期性。虽然注意力模型还有很多其他的变体，但是选择最原始的模型，因为其简单而且表达形式更一般化。

3.2.1 Attention Candidate Generator

为了提供注意选择器的候选向量，讨论了两种特定的生成机制。

1.嵌入编码模块。
第一个机制是嵌入编码机制，其实现结构在上面↑图4b中可以看到。嵌入编码模块将历史记录直接嵌入到独立的潜在向量中作为候选向量，这个模块由三部分组成。第一部分是shaping层，在这层将有序的历史轨迹序列拆分成一个时间维度固定空间维度可变的历史矩阵；第二部分是sampling层，在这层中对位置进行抽样；第三部分是全连接层。shaping层是一个固定的层，其结构和参数是人为指定的。在shaping层中，将轨迹向量重组成为一个二维矩阵(为了方便讨论，暂时在逻辑上忽略了嵌入维度)。在时间维度，将所有轨迹的时间按一周或者两天这样划分排列，这样是为了模拟人类移动的周期性。在空间维度，收集同一时间段内出现的所有地点，以便为每个时间段设置访问地点。在shaping层之后是sampling层，用来从每个时间段设置的访问地点中抽样。对于抽样有三种策略：第一种是平均抽样，即将集合中的每个时间的所有位置嵌入向量相加，并计算其均值最为他们的代表，这样可以保留所有的历史信息；第二种策略是最大抽样，基于对人口移动周期性的假设，即去的最频繁的地方对于user来说具有重要的意义。这种方式是选择最频繁的位置嵌入向量作为每个时间点的代表；第三种策略是全部采样，即保留所有的位置并且将他们在时间维度展平。在文章的最后选取平均采样作为嵌入编码模块的默认设置。
最后全连接层将进一步历史时空矢量变为合适的形状。
2.序列编码模块。
第二个机制是序列编码机制，其实现结构在图4c中可见。它由一个循环神经网络组成，将编码后的历史轨迹作为输入，并且保留每一步的中间结果作为候选向量。不同于嵌入编码模块，它不直接模拟周期性并且保留所有的时空信息。基于以上提到的多模态嵌入方式，循环神经网络可以从历史记录中提取到复杂的序列信息。和嵌入编码模块相比，序列编码模块基于后续的attention选择来捕捉周期性信息。同时，序列编码模块将历史记录投射到一个和当前移动状态相似的潜在空间，这样也有利于后续的attentional选择。

3.3 Training Algorithm

算法1概况了DeepMove的训练进程。DeepMove以一种端到端的方式不需要手动提取特征。整体来说，从有限的离散位置列表中预测下一位置可以被视作是一个多分类问题，我们选择交叉熵(cross-entropy)loss作为loss函数。在实验的时候，使用时间反向传播(BPTT)和Adam优化器来训练模型。历史注意模块被参数化为一个可以和整个循环神经网络一起训练的前馈神经网络。

4 PERFORMANCE EVALUATION

4.1 Datasets

三个，一个是Foursquare check-in data数据集，第二个是流行的社交网络供应商的移动应用程序位置数据，第三个是CDR数据来自一个主要的移动电话运营商。
CDR记录了用户接入蜂窝网络基站进行通信时候产生的位置数据。
社交网络数据集是用户在应用程序中请求位置服务时记录位置数据。
Foursquare是用户主动发布位置信息的数据集，即签到位置。
同时三个数据集在三个不同的城市不同的时间段收集。情况如下：

Foursquare数据稀疏，每条记录由用户id、时间戳、经纬度和位置的种类组成。处理方式：过滤掉了记录小于10条的用户，然后根据两个相邻记录之间的间隔将每个用户剩余的轨迹切割为几个session。此外还过滤掉了记录少于5条的session和小于5条session的用户。同时将72小时(三天)作为间隔阈值，即两条记录要是大于三天间隔就分到不同的session中，小于三天就在一个session中。将时间戳标准化为一周并保持轨迹的原始顺序。
CDR处理方式：将整个轨迹按日期划分成不同的session，并且将一天分成48个片段，将同一时间段的记录聚合为一个记录。在实验中由于原始移动数据的重复，过滤掉了同一时间段的这些记录。

4.2 Experimental Setup

为了评估模型的准确度，将马尔科夫链模型、PMM模型以及RNN-based模型作为对比。

表2是默认训练参数，用来对比的RNN也是采用同样的参数。前80%作为训练集，20%作为测试集。

4.3 Overall Performance

根据模型生成的概率对候选位置进行排名，并检查真实位置v是否出现在前k个候选位置中。

4.4 Reason Interpretation:Visualization ofHistorical Attention Weights

由于人类移动性周期性的重要性，我们的模型，特别是历史注意力模块，旨在捕捉人类移动性的周期性。因此，在本节中，我们将讨论我们的周期性假设是否出现，以及我们的模型是否真的捕捉到了它。在图7中，我们对历史注意力模块的输出进行了可视化展示。为了获得可视化效果，我们首先收集少量种子用户的历史注意力模块的归一化权重，并在时间维度上将它们对齐在一起。然后，对权重进行归一化处理，并根据热力图绘制在图7中。图7中每个方阵的横轴和纵轴都是时间段，网格的阴影描述了权重，其中绿色越深表示权重越大。例如，图7 ( a )中的左上方方阵通过移动应用数据中工作日的历史轨迹，为我们展示了工作日上午8点到下午8点的历史注意力权重分布。它的对角线条目明显大于其他条目，这显示了在不同工作日中人类流动性的日级规律性。图7 ( b )中的左上方矩阵显示了类似的结果，而它是基于另一个蜂窝网络数据。图7 ( b )中右下方的方阵显示了周末蜂窝网络数据中的注意力分布，这也揭示了显著的日级规律性。总的来说，图7的结果表明，我们的模型确实从历史轨迹中捕获了规律性和周期性。同时，我们的历史注意力模块不仅提高了预测精度，而且提供了一种易于理解的方式来理解未来移动中强调哪些历史活动。

4.5 Model Variations

为了展示历史注意模块的效果，首先比较了两个提出的历史注意力模块在预测精度和计算效率方面的差异，然后讨论了嵌入编码注意力模块中不同的采样策略对最终结果的影响。最后，讨论了用户嵌入的影响，并展示了模型在描述个人偏好方面的有效性。
在两个数据集上比较了提出的两个历史注意力模块的性能和效率。结果见表4。序列编码注意力模块在大部分时间内都比嵌入编码注意力模块的效果好，尤其是在移动应用数据上，后者的计算效率更高。序列编码注意力模块性能更好的原因可能有两个：1 )它在一定程度上捕获了长轨迹上的序列信息，而嵌入编码器则不能；2 )由于具有相似的生成结构，其输出的潜在空间与当前的移动状态更为相似。
此外，在嵌入编码注意力模块的采样层，评估了不同采样策略的系统性能。如模型部分所述，在历史注意力模块中设计了三种采样策略：平均采样、最大采样和无采样。图8 ( a )为两种数据集中3种不同采样对top - 1预测精度的评价结果。一般来说，平均采样策略在三种策略中效果较好，而最大采样策略的表现稍差，结果表明大多数人都有正常的移动模式和有限的访问位置。三种策略在蜂窝网络数据上的性能差距大于移动应用数据

4.6 Evaluation on User Groups

评估结果如图9所示，其中纵轴显示了与基准RNN相比的性能增益。从结果中可以得到两个有趣的见解：1 )Deepmove模型在几乎所有类型的用户上都优于基线方法；2 )Deepmove模型比基线方法更好地预测了非正常用户，满足了历史注意力模块的目标。

5 RELATED WORK

基于模型的方式、基于模式的方式、循环神经网络、注意力机制模型

6 CONCLUSION

研究了从稀疏和冗长的轨迹中预测移动性的问题，提出了一个注意力移动模型Deep Move，与之前的方法相比，该模型具有两个新的特点：1 )多模态嵌入循环神经网络，用于捕获控制人类移动转换规律的多种因素；2 )用于建模人类移动的多级周期性的历史注意力模块。在三个真实移动性数据集上的大量实验表明，DeepMove明显优于所有基线。同时，历史注意力权重的可视化显示DeepMove能够有效地捕获有意义的周期性，用于移动性预测。