美团配送2021KDD论文：A Deep Learning Method for Route and Time Prediction in Food Delivery Service
背景
配送系统存在一些关键预测环节。
- ETA：用户下单前，系统会给用户一个承诺的预计送达时间（ETA）；
- ETR：订单（A）分配到具体的骑手之后，在用户侧APP端可以看到骑手位置，以及更加准确、实时变化的预计送达时间（ETR）；
预计配送顺序：在后续的订单分配时，需要预测订单（B）分配到骑手之后，骑手新的配送顺序（预估顺序）以及新的到达各用户的时间（ETR）。（需要注意的是，由于骑手受到ETA的约束，并不会随意选择配送顺序）
- 评估指标1：参考排序指标，LSD（location square deviation）、kendall系数
- 评估指标2：顺序一致率，即，两个顺序的公共前缀长度占比
- 评估指标3：时间指标，ME、MAE、N分钟置信度
- 建议配送顺序：在骑手端，系统会基于时效、路程、交通规则等给出建议配送顺序（建议顺序），对骑手没有强制力。建议顺序为分单之后的动作，对分单策略不具有参考意义。
本文要解决的是外卖配送领域的骑手路径预测和时间预测任务，简称FD-RTP (Food Delivery Route and Time Prediction) 。FD-RTP问题较为复杂，主要体现在3个方面：
- 骑手通常同时对多个订单进行取餐和配送（在高峰时段，甚至可以达到同时取送10单），对应的路径求解空间巨大，针对高峰期10单的情况，可以达到2.376*10^15个解。此外，路径预测需要考虑骑行距离以及每个订单的准时性。
- 整个路径的时间预测涉及到骑行时间、取餐配送阶段的步行时间、骑手在餐厅的等餐时间3部分。时间预测过程中存在比较大的不确定性，而且随着路径长度的增长，这种不确定性也随之增加。
- 作为一种线上算法，FD-RTP任务会被其他应用频繁调用，因此，FD-RTP任务需要在毫秒粒度返回结果。
之前（外卖配送路径规划算法：两阶段快速启发式算法）将FD-RTP任务看做一个PDPTW (pickup and delivery problem with time windows) 问题，重点通过优化搜索算法最小化启发式cost（heuristic cost，由time delay、delivery distance两部分组成），鲜少提升时间预测的准确度，而时间预测作为PDPTW中计算time delay的关键参数，其准确性下降也会导致搜索出的路径结果准确性下降。当前的算法结构下，针对单个FD-RTP任务，启发式搜索算法在返回结果之前需要求解上千个轮次，每个轮次都需要调用时间预测算法。正是因为这种算法结构，需要时间预测算法快速返回结果，所以，模型选型、特征选择总要做一些取舍，e.g.时间序列模型，骑手的历史行为习惯特征、时空关系特征、骑手所在位置的环境特征。
相关工作
RR (Route Recommendation)
RR问题指的是，在给定OD的前提下，基于历史轨迹为用户推荐出合适的routes。在之前的工作中，将该问题看做是一个在图（graphs）上的路径规划问题（pathfinding problem ），研究重点主要在设计启发式搜索算法，降低搜索空间。启发式搜索算法需要大量的迭代轮次，同时，设计合适的cost函数成为了算法的关键点。
然而，大量的研究将cost function设计成启发式的，导致算法应用性受限，不便于大范围推广。同时，启发式搜索算法在搜索过程中难以充分利用各种各样的环境特征，这基本上也是整个运筹优化方向类算法所面临的共同缺陷。
针对以上问题，大量的研究放在了利用机器学习方法引入更多的特征参与推断。
- Chen et al. propose a Maximum Probability Product algorithm based on the Absorbing Markov Chain to discover the most popular route between two locations [4]
- In [22], the authors adopt probabilistic models incorporating both temporal dynamics and spatial dynamics and address the data sparsity challenge for route recovery.
The development of deep learning sheds light on the RR problem using neural networks, especially the promising effectiveness of RNN for modeling sequential trajectory data.
- In [1], the authors propose Space Time Features-based RNN to predict people next movement by discovering the mobility patterns.
- Wu et al. design two RNN based models to capture variable length sequence of trajectory data and address the constraints of topological structure on trajectory modeling [21]
由于引入了订单准时率、骑手骑行成本，FD-RTP任务比RR问题更加复杂。
ETA
ETA预测有两个流派：OD-based、route-based。
OD-based类型的方法主要使用起始点特征，不考虑route及segment粒度的特征。相关研究如下：
- Jindal et al. propose ST-NN (Spatio-Temporal Neural Network), predicting the travel distance between OD and further predict the travel time combined with other time information [9]
- In [14], Wang et al. propose TEMP+R, which estimates the time duration as the weighted average travel times of similar historical trips.
route-based类型的方法主要放在对组成route的多条路段的预测，最终对预测结果进行聚合。
- BusTr infers bus delays combining real-time road traffic forecasts and contextual information [2]. Using a restricted fea- ture set, BusTr can be generated to cities without training data. Besides, formulating ETA as a pure regression problem, Wang et al.
- formulating ETA as a pure regression problem, Wang et al. propose a Wide Deep Recurrent learning model to capture global spatiotemporal and route segment information in [17]
- Hong et al. further employ an Attention based GNN (Graph Neural Network) to embed road network data, and model temporal heterogeneous information, beyond the state-of-the-art methods [8].
与传统ETA相比，除了考虑骑行时间，FD-RTP还需要考虑取餐、交付阶段的步行时间。
问题定义
FD-RTP任务的目标是准确预测骑手的location集合的访问顺序，即，l_0、P、D中元素的排列组合。可行route需要满足3项约束：
1）route必须以l_0为起点；
2）一个订单的pickup location应该在delivery location之前；
3）订单o的取餐时间必须晚于PT_o（商家备餐完成时间）。
Data Set
原始数据为最近两周的业务数据，涉及4.3亿订单、160万骑手。由于骑手配送过程中会持续有新订单加入，所以，原始数据并不能直接用于模型建模。因此，我们按照骑手分配新订单的时间点拆分骑手实际配送路径。以下图为例，我们将订单4分配给骑手为分界时间，将配送路径分为两段。
经过一些其他预处理（e.g.剔除速度过高的异常骑手）之后，剩余1.35亿条样本。下图罗列了每条样本所用到的特征信息。
需要特别说明的是，交付时长（drop off duration）、出餐时间（earliest pickup time）由其他模型产出，这里看作是已知信息。在RP模块和TP模块中，使用的信息存在差异，具体查看table2，这里不再赘述。
模型细节
如上图所示，本文提出了一种基于深度学习解决FD-RTP的方法，简称FDNET (Food Delivery Route and Time Prediction Deep Network)。FDNET通过对大量历史配送数据的挖掘，预测未来骑手访问location的概率，相比于启发式搜索算法，该方法能够较大的缩小路径规划求解空间，同时降低时间预测的调用频次。该方法仅生成少量高概率可行解，并预测其配送时长。计算量下降之后，便可以考虑将更多的特征加入到模型中，又进一步提高了模型预测的准确性。
FDNET由两部分组成：RP (route prediction) 模块和TP (time prediction) module模块。
RP模块用于预测骑手下一步的访问节点（location）的概率，进而预测出整个route。我们分析影响骑手行为的因素后，基于RNN和Attention设计出时间序列模型，借此更加详尽的描绘出骑手的决策过程。
TP模块用于预测route上两相邻节点之间的通行时间（离开O，到达D），并在考虑出餐时间、交付时长的情况下，生成每个订单的履约完成时间。我们将TP模块看作是ETA (Estimated Time of Arrival) 问题的变种。
RP模块和TP模块在FDNET中巧妙地结合在一起。TP模块的route 特征来自于RP模块，而TP模块的输出结果会作为骑手的未来特征加入到RP模块下一轮的预测中。
RP模块
RP模块可以形式化描述为如下形式：
其中，X表示代表在l_i地点所能获取到的所有信息。
特征
特征方面，主要考虑影响骑手决策的因素并借此设计特征，分析结果如下图所示。
从图上可以看出，
1）准时率的考虑，骑手优先取送剩余时间短的订单；
2）骑手倾向于先访问较近的location
3）相同情况下，骑手倾向于已经完成备餐的订单，完成时间点越早越好
4）倾向于优先配送交付时间长的订单，避免出现超时
模型
1.预处理阶段，对稠密特征进行离散化处理，并embedding化。主要基于两方面考虑：
- 稠密特征的微弱变化，并不会影响骑手的行为，同时，离散化可以提高模型稳定性；
- 我们希望模型可以学到微妙的表征，而不是直接用numerical values 。
2.使用deepFM模型，充分利用一阶特征、二阶交叉特征、高阶特征；
3.最终得到长度为m的向量，表征环境特征v_c，骑手特征v_u，订单o的取餐特征v^p_o，订单o的配送特征v^d_o；
4.利用LSTM处理时序数据，利用Attention计算倾向性
5.确保「问题定义」章节中的前两项约束。
LSTM Layer
在当前问题中，可以表示为如下形式：
其中，h_i-1、c_i-1 分别表示i-1阶段计算所得的两个状态。
计算细节如下：
其中：
- σ为sigmoid函数，σ(x)=1/(1+e^{-x})
- v_{l_{i-1}}表示地点l_{i-1}的向量表示，包括环境特征、骑手特征、取餐或配送特征（根据l_{i-1}的实际取送情况而定）。需要特别说明的是，在l_0时，因为不是具体的取送点，此时向量只包含环境特征和骑手特征。
- 每一步计算，更新环境特征和骑手特征
- h_t包含了前几个step的所有信息，作为后续预测的主要特征
- step之间增加dropout，避免过拟合
Attention Layer
在每一个location，骑手都会从所有pickup、delivery任务（用C _i表示）中选择一个作为接下来的访问地点。这里利用Attention机制描述骑手的决策过程。在第i轮次，我们首先获取骑手的全局信息（global view ），然后，计算骑手在i+1时访问location l的概率P(l)，其中l属于C_i。
为了表示全局信息，
其中，h_i表示LSTM单元第i轮次的输出表示，v_l_j表示第j个location的特征。h_i与v_l_j的乘积越大，a_ij 就越大，对应的，g_i就更侧重于v_l_j向量（g_i是v_l_j向量的加权向量）。实际上，就是根据隐藏层与特征的相关性，决定关注点(attention)应该放在哪个location上。需要注意的是，这里并没有额外增加待训练参数，个人认为，可以看作是attention的简化。我们将g_i看作是骑手的全局信息（global view ），对应下一个访问点的概率如下：
到此，RP模块基本就讲述完了。
后续训练和预测过程有两种不同的策略，greedy strategy 和Beam Search strategy，前者每个轮次贪婪的选择一个最佳位置，并持续到所有轮次结束；后者每个轮次选择n个最佳位置，在下一个轮次中基于n*m个候选结果中选择n个最佳位置，直到所有轮次结束。
简单来讲，LSTM用i-1轮的信息得到h_i，用候选location（C_i）及h_i计算成为下一个访问节点的概率。
Attention的作用在于权重向量g_i，它由1）h_i与location向量v_l_j的相关性 2）location向量v_l_j 两部分决定；P由权重向量g_i和location向量v_l_j决定，所以，最重要的是h_i与v_l_j乘积的大小。
TP模块
TP模块用于预测到达各location的时间，即，从离开上一个location开始到到达当前location的时间差。问题定义阶段提出了3个约束，TP模块解决第三个约束问题，即，订单o的取餐时间必须晚于PT_o（商家备餐完成时间）。通过组合各时间差及备餐时间，我们可以得到各location的预计达到时间。如果骑手提前达到餐厅，他需要等待外卖准备完成；否则，骑手可以立即取餐。
我们将TP模块看做是一个纯粹的回归问题，形式化描述为如下形式：
其中，X^t_i表示在i轮次可以利用到的信息。
特征
- 环境特征
- 骑手特征
- 地理特征：我们利用了GPS经纬度的embedding信息
其中，dist指网格之间球面距离，本文采用300m的网格。
- 地理特征：交付时长
- OD特征：导航距离，不同时间粒度（昨天、前七天、上周同日）的导航时间统计特征，考虑到数据的稀疏性，我们利用geohash编码计算以上特征
模型
采用wide&deep模型：
- deep部分擅长抽取与location相关的潜在特征
- wide部分与RP模块有所不同，使用数值类型的稠密特征（因为预测目标与这类特征的变化非常敏感，e.g.导航距离）
针对预测OD类型的差异性，将OD分为6个部分。主要基于两个原因：
- 不同类型之间特征差异较大
- 不同类型之间的消耗时间分布差异较大
模型训练与预测
训练
采用 teacher forcing strategy 策略，即，涉及时间序列时训练采用真实数据，预测采用前几个轮次的预测结果序列。在我们这个问题上，RP模块、TP模块均使用骑手的真实骑行序列作为输入；在RP模块中，当需要计算l_i的时间特征时，均采用骑手离开l_i-1的真实时间作为输入。
在RP模块，我们使用交叉熵损失函数：
其中，D表示训练集，i表示样本中包含的轮次。
在TP模块中，我们使用MAE作为损失函数：
我们使用独立的adam优化器和学习率训练RP和TP模块，即，两部分是独立训练的。
预测
虽然训练时独立，但预测时RP模块和TP模块的协调非常紧密。在i轮次，RP模块使用RP模块在i-1轮次所产生的location及TP模块的i-1轮次对应更新后的特征（最早取餐时间、剩余配送时间、导航距离等）作为输入。此后，TP模块利用RP模块预测的location作为输入，产生i轮次的时间预测结果。
实验效果
离线评估
RP模块
route长度对指标影响较大，这里根据业务特点拆分成short route（小于等于8个location）和long route（8个以以上location）两类数据集。在确保特征尽量一致的情况下，测试FDNET与LR、RF、XGB的效果。指标上，看做point-wise排序，采用HR@1、MMR指标。
- HR@K：分母是所有的测试集合，分子式每个用户top-K推荐列表中属于测试集合的个数的总和
- MRR 是一个国际上通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0
从结果可以看出：
1）route越长，解空间和不确定性越大，指标越差
2）LR效果好于RF和XGB，有点出乎意料，推测是RF、XGB这集成学习方法擅长利用统计特征
3）FDNET在两类数据集上均好于传统方法，推测是因为FDNET利用LSTM学习行为序列、attention刻画决策过程两方面原因
4）对比剔除环境特征、骑手特征的实验发现，因为环境特征对骑手决策影响较小，对应的与原始FDNET算法差别不大；从结果也可以推测出，骑手特征对骑手决策影响更大。未来可以尝试在这方面扩展颗粒度进行优化。
除此之外，还用XGB测算了一下不同特征的重要程度，即，特征在XGB中作为分裂节点的次数。从结果可以看出，pickup特征、delivery特征更加重要。
TP模块
在确保特征尽量一致的情况下，测试FDNET与线性回归、RF、XGB的效果，（GPS的embedding除外，其无法在线性回归、RF、XGB等传统方法中使用）对比指标为MAPE。
分析结果如下：
- 在传统方法中，XGB好于其他两类方法
- FDNET优于传统方法
- 与RP模块不同，骑手信息对时间预测非常有帮助。（但从table 4的特征重要性来看，骑手信息在当前利用率却不高，需要在未来做扩展）
location粒度时间准确性
将RP模块和TP模块组合，我们能够计算达到每个location的时间点，该部分将评估location粒度时间预测的准确性。table 6 是FDNET相对于传统启发式搜索方法所降低的MAPE比例，value越大代表算法效果越好。
从结果可以看出：
- 不管是Greedy还是Beam Search（每次保留2条最高概率结果），FDNET都优于传统方法；
- 针对short类型，pickup样本中greedy方法优于beam search方法，delivery样本中greedy方法持平beam search方法；针对long类型，beam search 均优于greedy。所以，在实际项目中，短链采用greedy方法，长链采用beam search方法。
线上AB实验
AB实验结果显示，FDNET可以获得0.08pp的订单准时率提升，订单生命周期降低20秒，骑手平均行驶距离降低60米。所以，FDNET方法同时提高了用户满意度和骑手体验。
case study
Case #1
传统方法考虑到l1剩余时间不足，存在超时风险，给出先送l1，再取l2、送l2的结果。凭经验平衡时间分、路程分，是传统方法的一个劣势。
FDNET考虑了骑手习惯及历史行为，给出先取l2、送l2、再送l1的结果，该结果与实际访问顺序相同。
Case #2
传统方法和FDNET方法在case上均预测错误。有两个原因：
1）由于l1、l2取餐位置太近，先取l1还是l2，存在非常高的随机性
2）备餐时间存在比较大的不确定性，该时间来自于另外一套ETA系统，预测结果存在偏差
个人观点：从实际业务来讲，先取1还是先取2并不影响骑手的总体路程和耗时。 这里更像是一个评价体系存在的问题。
Case #3
交付难度是影响骑手行为的重要因素，o1靠近道路，更容易交付；o2需要停车进入社区，交付更难。骑手更倾向于优先处理容易的订单，这和之前的特征分析存在矛盾。后续需要更加关注骑手的个性化信息，e.g.骑手对于配送先后顺序的偏好，骑手历史访问顺序。
未来优化方向
- 骑手对于配送先后顺序的偏好，骑手历史访问顺序
- 骑手对餐厅、配送位置的熟悉程度
- 更加大量的环境信息，e.g.交通状况
- 针对TP模块，引入route link的链接信息