3D视觉系列:PoseCNN

poseCNN

1 创新点

  • 提出新的位置估计表示形式:预测2d图片中心和距离摄像头距离(利用图像坐标来推测实际3D坐标)。并且通过hough投票来确定物体位置中心。
  • 提出新的姿态估计损失函数ShapeMatch-Loss:解决旋转对称物体姿态估计问题
  • 提出新的数据集: YCB-Video dataset

2 论文思路

Net.png

上述是整个网络结构图

  1. bodynet是vgg16,
  2. 网络的预测输出共有3个。语义分割分支,位置分支,姿态分支。。
  3. 位置分支:利用ISM 表示形式(ISM介绍)间接推测出,而非直接预测三维坐标XYZ值。
    a) 投票.
    b) 极大值抑制.
    c) 设置阈值
  4. 姿态分支:采用四元数表示。对于每个类的每个roi,都预测一个结果。

3 训练过程

3.1 ShapeMatch-Loss

对于上述的每个分支,都有一个loss,一共有3个loss。同时,作者为了应对旋转对称物体的姿态迷惑性(即可以用多个四元数来表示一个姿态),作者提出了一个新的loss——ShapeMatch-Loss。

SLoss.png

M是代表3d模型空间中的点,
分别代表预测的3d旋转矩阵和真正的3d旋转矩阵。X1表示场景中的点,X2表示模型上离X1最近的点。

3.2 数据集

作者在OccludedLINEMOD Dataset 和YCB-Video Dataset(作者提出的)进行训练和测试。

4 结果

4.1 SLoss

image.png

4.2 与baseline对比

baseline为3D coordinate 。


image.png

使用RGB作为输入,poseCNN明显性能更高。
使用RGB-D作为输入,使用ICP作为后处理能够明显提升性能。

你可能感兴趣的:(3D视觉系列:PoseCNN)