论文阅读：6-PACK

论文阅读：6-PACK

6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints

1、现存问题

现有的6D跟踪方法大部分是基于物体的三维模型进行的，有较高的准确性和鲁棒性。然而在现实环境中，很难获得物体的三维模型，所以作者提出开发一种类别级模型，能够跟踪特定类别从未见过的物体。

2、创新点

这种方法不需要已知物体的三维模型。相反，它通过新的anchor机制，类似于2D对象检测中使用的proposals方法，来避免定义和估计绝对6D位姿。
这些anchor为生成的3D关键点提供一个基础，不需要像之前的方法一样要手动标注关键点，并且提出一种无监督的学习方法，可以发现最优的3D关键点并进行追踪
这些关键点用于简洁的表示物体，可以有效地估计相邻两帧之间位姿的差异。这种基于关键点的表示方法可以实现鲁棒的实时6D姿态跟踪

3、内容

模型

首先，6-PACK算法在预测位姿周围生成anchor网格的过程中使用了注意力机制。每个点用RGB-D点单独特征的距离加权和来表示体积。使用anchor信息在新的RGB-D框架中找到物体的粗略质心，并指导对其周围关键点的后续搜索，这比在无约束的三维空间中搜索关键点效率更高。
其次，6-PACK使用了anchor特征针对对称或者非对称物体生成关键点，不同于以往的方法，这些关键点的生成由无监督的方式学习，所以鲁棒性更强
最后，将当前帧和以前帧的关键点传递给一个最小二乘优化[2]，该优化点计算帧间姿态变化。 根据这个运动，我们推断出这个姿势 在下一帧中中心下一个锚点的分布

无监督3D关键点生成器

这个3D关键点生成器的输出的关键点集是有序的，这样就不需要连续两帧之前寻找关键点间的对应关系
文章将我们的关键点生成网络的无监督训练作为在连续帧中生成的关键点之间的多视图一致性的优化问题。利用相邻帧间地面的变换作为相邻帧关键点间对应位置间变换的真值

多视图一致性损失只保证了独立于透视图或对象可见部分的特征位置之间的帧间一致性。然而，这并不能保证这些位置对我们的最终目标是最优的，即估计姿态的变化（例如，所有关键点最终都可能位于同一地点）。 为了解决这一问题，文章将基于关键点的姿态估计步骤转化为可微姿态估计损失函数，并将其结合起来 在训练过程中存在多视点一致性损失

只有又整合了间隔损失$L_{sep}$和轮廓一致性损失$L_{sil}$,其中分离损失迫使关键点之间保持一定距离，避免退化构型，提高位姿估计。轮廓一致性的损失迫使关键点更接近物体的表面，以提高可解释性。此外还有一个质心损失$L_{cen}$让生成的关键点组的中心在物体的中心

针对对称物体

提出了一种关于对称轴的类圆柱体坐标系，定义了一个新的损失函数

4、实验和细节