Lift, Splat, Shoot(LSS)

整个模型的作用,就是将单个摄像头2维的信息先 lift 到3维,然后再将多个摄像头3维的信息进行splat(拼接)。然后再去对历史轨迹进行shoot,预测主车未来的行驶轨迹。
从二维转到三维需要满足一下三个性质:1. 转换完之后障碍物的性质是不会改变的;2. 和camera的顺序无关;3. 和camera所处位置无关。

提出了一种模型可以端到端的转换鸟瞰图并做相应的轨迹预测。
Lift, Splat, Shoot(LSS)_第1张图片
Lift阶段:将2D信息转换为3D信息还需要补充一个depth信息,所以可以对depth信息先离散化,形成一个点云(h, w, d);然后使用一个α去映射depth信息。训练的时候用激光雷达作为真值。

Splat阶段,模仿了pointpillar将各个camera的点云信息拼接起来,拼接的时候会利用到camera的内外参信息。然后再用CNN将拼接完的BEV进行识别。

为了增加模型的推理速度,用累加pooling来替代sum pooling
Lift, Splat, Shoot(LSS)_第2张图片
Shooting: 可以实现从感知到规划的端到端motion planning

利用聚类先去获得1000条专家轨迹。

用真值去找到L2距离最小的template,然后再使用cross entropy loss去计轨迹的置信度。

你可能感兴趣的:(学习,机器学习,算法,深度学习,pytorch)