论文阅读-位姿估计-SE3-Nets Learning Rigid Body Motion using Deep Neural Networks

SE3-Nets Learning Rigid Body Motion using Deep Neural Networks(1)
- 输入:三维点;系统输入(如推力);
- 输出:三维点

该论文只针对三维点云输入(RGBD等),来求解每帧中目标物体的刚体变换关系(SE(3), pose)。

在这些深度学习框架的位姿估计问题中,旋转都使用旋转向量(3维度)的方式。

以及需要分割的个数(?提前知道个数,最大个数吧?),得到各个分割块的pose(随后可以根据pose将点云转换过去)
SE3-NETS learn to segment effected object parts and predict their motion resulting from the applied force.

作者认为之前的物理模型(非深度模型)虽好,但依赖的是精准的观测量和基于此的精准的预测,而人是靠直觉、模糊的预测来行动的。而之前的基于物理

1.流程和网络架构

如图:
论文阅读-位姿估计-SE3-Nets Learning Rigid Body Motion using Deep Neural Networks_第1张图片
作者的网络分为两个部分:
1.Encoder部分输入点云,同时用一个全连接网络来接收控制输入,结果
2.在Encoder之后,Decoder部分做了两件事:
- 将区域按照目标分类,识别出那些一同运动的像素部分(称之为一个目标),文中用一个mask(仅仅包含目标部分)来区分各个不同区域的目标。
值得注意的是,目标的个数k是网络训练前提前设置好的。所以这可以转为分类问题,对每一个输入像素分为k个类别之一。这个过程和普通的深度预测网络十分类似:skip,降采样+升采样。由于类别之间离散不可导(?),作者分别计算每一个点在k个类别的分布概率(总和为1)。

  • 接下来对每一目标物体的SE3进行预测。

最后通过转移层将所有信息汇总起来:对k个可能的pose进行得到最终变换之后的三维点位姿进行加权求和得到最终位姿,从而得到最终每个点的刚体变换。这里的权重是之前提到的概率

2.结果

作者在仿真数据和真实数据上测试。训练目标是使得点云y通过训练后的数据集得到转换后的点云集y‘和真值一样。
训练时,假设输入和输出的数据关联对应关系是知道的(可以通过位姿等得到前后三维点的对应关系)

每帧test时间大概达到0.15s。

最后作者发现该系统对目标个数很敏感,对深度噪音和数据关联的噪音不是那么敏感(加入训练时有错误的数据关联关系)

评价:本文没有解决数据关联问题,还需要借助于ICP等,输入限于雷达或RGBD数据。

你可能感兴趣的:(深度,位姿估计)