3D视觉系列：PoseCNN

poseCNN

1 创新点

• 提出新的位置估计表示形式：预测2d图片中心和距离摄像头距离（利用图像坐标来推测实际3D坐标）。并且通过hough投票来确定物体位置中心。
• 提出新的姿态估计损失函数ShapeMatch-Loss：解决旋转对称物体姿态估计问题
• 提出新的数据集： YCB-Video dataset

2 论文思路

Net.png

上述是整个网络结构图

1. bodynet是vgg16，
2. 网络的预测输出共有3个。语义分割分支，位置分支，姿态分支。。
3. 位置分支：利用ISM 表示形式（ISM介绍）间接推测出，而非直接预测三维坐标XYZ值。
   a) 投票.
   b) 极大值抑制.
   c) 设置阈值
4. 姿态分支：采用四元数表示。对于每个类的每个roi，都预测一个结果。

3 训练过程

3.1 ShapeMatch-Loss

对于上述的每个分支，都有一个loss，一共有3个loss。同时，作者为了应对旋转对称物体的姿态迷惑性（即可以用多个四元数来表示一个姿态），作者提出了一个新的loss——ShapeMatch-Loss。

SLoss.png

M是代表3d模型空间中的点，

分别代表预测的3d旋转矩阵和真正的3d旋转矩阵。X1表示场景中的点，X2表示模型上离X1最近的点。

3.2 数据集

作者在OccludedLINEMOD Dataset 和YCB-Video Dataset（作者提出的）进行训练和测试。

4 结果

4.1 SLoss

image.png

4.2 与baseline对比

baseline为3D coordinate 。

image.png

使用RGB作为输入，poseCNN明显性能更高。
使用RGB-D作为输入，使用ICP作为后处理能够明显提升性能。