物体的三维识别与6D位姿估计：PPF系列论文介绍（一）

作者：袁野

Date：2020-03-27

来源：物体的三维识别与6D位姿估计：PPF系列论文介绍（一）

一、前言

近年来随着消费级深度设备的普及，深度相机引导机械臂完成抓取成为热点话题。其中，物体识别与位姿估计是械臂完成抓取的关键。关于物体识别与位姿估计可以分为传统手工提取特征方法和基于深度学习的方法。下面主要介绍传统经典方法——基于点对特征的（PPF）系列方法。

2019年ICCV在韩国举行的"6D Object Pose Estimation Challenge" 中，基于PPF的方法丝毫不输当今火热的深度学习类方法。下图是Leaderboard，其中Drost和Vidal的方法都是基于PPF。

二、PPF系列论文介绍

1. “Model globally, match locally: Efficient and robust 3D object recognition”

这篇文章是PPF的鼻祖，发表在2010年CVPR。其构建两点及其法向量之间的几何关系形成的四维特征作为点对特征（Point Pair Features）。线下建立哈希表存储模型的所有四维特征作为模型的整体描述。线上匹配阶段，借用全局坐标系简化刚体变换自由度，使得位姿计算变得简单。同时借助广义霍夫变换的投票思想，对参数空间投票，获得可靠位姿。

DOI：10.1109/CVPR.2010.5540108

2. “3D pose estimation of daily objects using an RGB-D camera”

Drost的方法很快得到了广泛的关注，Choi等人在2012年对PPF进行了改进，将传统的四维几何点对特征扩充了颜色信息，得到CPPF这么一个十维特征描述子（两点各增加了RGB信息）。在彩色数据集上获得了比原始PPF更好的效果。

DOI：10.1109/IROS.2012.6386067

3.“RGB-D edge detection and edge-based registration”

2013年，Choi等人继续对PPF做出改进，提出用不同种类的点对几何关系，如利用“boundary-to- boundary”的边缘点点对构建特征。这无疑大大减少了点的数量，不论是在训练阶段还是匹配阶段都极大提高了速度。并且该改进在包含大量平面的物体上表现出了极好的效果。

DOI：10.1109/IROS.2013.6696558

4.“Learning to Rank 3D Features”

2014年，Tuzel等人发现，当对象自身有很多重复特征或表现出简并性时（如大平面）传统PPF方法的性能下降，同时这种情形又是非常常见的。由此提出了一个最大边缘学习框架来识别三维物体表面的识别特征。具体来说，学习到的是哈希表bin的权重值，以及模型点的权重值。算法根据特征在特定任务中的重要性对特征进行选择和排序，从而提高准确性，降低计算成本。

DOI：10.1007/978-3-319-10590-1_345. “Point Pair Features Based Object Detection and Pose Estimation Revisited“

之前的PPF系列方法虽然是有所改进，但是总体的pipeline几乎是一致的。而Birdal等人在2015年从pipeline上改进了PPF。文章将目标检测与一个由粗到精的分割结合起来，其中每个分割都需要进行独立的位姿估计。在匹配过程中，使用了一个加权的霍夫投票和一个插值恢复的位姿参数。最后，所有生成的假设通过一个遮挡感知排序进行检验和排序。特别的是，由于这种增强的位姿检索，新的pipeline不需要ICP优化，从而在速度和精度之间取得更好的折衷。

DOI：10.1109/3DV.2015.65