【论文精读】MotionLM

【论文精读】MotionLM

  • 1 背景
  • 2 存在的问题
  • 3 具体方案
    • 轨迹转运动序列
    • 模型
    • 轨迹去重和聚类
    • loss

1 背景

团队:Waymo
时间:2023.9
代码:
简介:采用自回归的方式做轨迹生成,能够更好地建模交互,且避免模态坍缩,在数据集达到了SOTA。

2 存在的问题

  1. 轨迹回归方面:原本xy预测认为空间过大,有的xy很大(t大速度快的时候),有的xy很小(t小速度慢的时候)。

3 具体方案

Encoder采用了之前的论文Wayformer的Encoder。本文具体关注解码器Decoder。

轨迹转运动序列

该文章的一个主要创新点是把每一个时刻的位移认为是vocabulary运动序列的一个运动token(motion token)。由此把位移回归问题变成了运动序列的token分类问题。

  1. 先做轨迹差分,落在-18到18m的范围内,然后分别对x和y划分成128个区间,那么xy都在0-127int的范围内。
  2. 再对上述的xy进行差分,每个方向各13个,得到动作空间为169的verlet-wrapped action space。

该模型并不是直接输出轨迹,而是输出分类结果,从而滚动重建轨迹。

模型

给定context,模型输出13x13的分类分布,然后采样得到x和y方向的action。

轨迹去重和聚类

kmeans聚类成6条。

loss

采用teacher-force的方法,每个回归出来的点都是加在上一时刻的真值上,得到这个时刻的输出,模型收敛更快。
comment:可以前一段训练用teacher-force,后一段直接用自回归的累积结果。

你可能感兴趣的:(自动驾驶,深度学习,论文阅读)