论文精读Motion Prediction of Traffic Actors for Autonomous Driving using Deep Convolutional Networks

1 基础背景

论文链接：https://arxiv.org/pdf/1808.05819v1.pdf
团队：Uber
年份：2018

2 Motivation

目前采用的是基于运动学模型和道路约束的短时预测，长时间预测效果不好。
目前基于学习的方法需要人工设计特征，以获取环境信息，导致性能是次佳的（suboptimal）。
高斯回归能够量化不确定性（quantify uncertainty），但是无法建模复杂的交互关系。
逆强化学习可以建模环境信息，但是实时性不行。

3 解决思路

3.1 将周车光栅化(rasterization)，提供上下文信息（context）

原因

这一步是为了将为CNN提供输入，而不是人工确定features导致次优解（Instead of manually defining features that represent context for each individual actor, we propose to rasterize scene for the i-th actor at time step t j into an RGB image）；

做法

1.把每种同类型的信息用多边形、线段表示，形成一个向量层（vector layer）；
2.把不同的向量层用不同的RBG颜色表示出来。除了车道方向，其他向量层的颜色人工指定。车道方向层是用HSV转RBG，相反方向的车道线的颜色也是相反的；
3.像素大小设置为0.1m，是图片大小（30m x 30m）和表示能力的trande-off；
4.图片中车头朝上，放在图片的（15m, 5m）位置，车辆前方有25m，后方有5m，作为环境信息；
5.最上层放actor的前k个历史轨迹，用bounding box，时间越往前，颜色越深。

3.2 采用卷积神经网络预测周车未来轨迹，解释预测任务的不确定性

1.loss function是所有时刻所有车辆的位移误差的函数（文中设计了两种函数，一种就是均方根，另一种包含log似然？）。
2.将光栅化输入给CNN，得到输出进行平滑（flatten）；
3.将其和actor的3维状态（速度、加速度、航向角变化率）做拼接（concatenation）；
4.经过两层全连接，得到输出。

4 实验结果

4.1 消融实验

模型：AlexNet/VGG-19/ResNet-50/MobileNet-v2，baseline是无迹卡尔曼滤波推导的轨迹；
其他对比：
1.actor历史轨迹是否加深颜色；
2.是否输入actor的3维状态；
3.不同的loss function。

4.2 评价指标

1 精确性评价指标

位移误差
Along-track error，沿轨误差，我理解是沿着车道线的纵向误差，因为轨迹点是按照固定时间间隔得到的
cross-track error，越轨误差，我理解是沿着车道线的横向误差

2 可靠性评价指标（可靠性图Reliability diagram）

【问】为什么两条曲线都靠近(0, 0)和(1, 1)?
【答】对于预测曲线，当数据集中几乎全是负样本，也基本预测出了负样本，靠近(0, 0)；当数据集中几乎全是正样本，也基本预测出了正样本，靠近(1, 1)

4.3 结论

1.MNv2效果最好；
2.actor历史轨迹加深更好；
3.输入3维初始状态更好；
4.包含log似然的loss function更好。包含log似然的方案中，输出增加了标准差，带来2个好结果：
1.能够对轨迹不确定性进行估计（the estimation of trajectory uncertainty）
2.能够抵消输入噪声。

5.从可靠性图上，3s预测的置信度更高。
6.根据dropout分析（dropout analysis，随机丢弃节点，防止过拟合，参考深度学习Dropout技术分析），模型没有什么太大变化，说明已经收敛，增加额外信息没有必要。
7.根据遮挡敏感性分析（occlusion sensitivity analysis），可以看到哪些区域是actor更关注的。