CVPR2023新作：在点云中无监督地学习人体关键点

1. Title: 3D Human Keypoints Estimation From Point Clouds in the Wild

2. Affiliation: 斯坦福大学 (Stanford University)

3. Authors: Zhenzhen Weng, Alexander S. Gorban, Jingwei Ji, Mahyar Najibi, Yin Zhou, Dragomir Anguelov

4. Keywords: 3D human keypoints, point clouds, unsupervised learning, few-shot learning

5. Summary:

• (1): 本文的研究背景是在点云中无监督地学习人体关键点。传统的方法需要大量标注数据，但标注3D关键点费时费力，特别是对于不常见姿态的情况更加困难。
• (2): 过去的方法主要是利用二维监督学习或其他模态的信号来实现3D关键点的估计。然而，这些方法存在泛化能力不足的问题。本文提出的GC-KPL方法基于几何一致性，无需人类标注数据即可实现3D关键点的学习。
• (3): 本文提出了无监督损失函数进行关键点位置的学习，该函数考虑了人体结构和运动。进一步，作者将训练好的模型应用于downstream任务中，证明其可行性和有效性。
• (4): 本文在Waymo Open Dataset数据集上进行实验，表明GC-KPL方法可以达到和基于监督学习的方法相当的结果。此外，GC-KPL方法还在few-shot learning方面取得了良好的结果。因此，本文方法的性能证明了其在点云中无监督地学习人体关键点的可行性和有效性。

6. Methods:

• (1): 本文提出了一个基于几何一致性的无监督学习方法，名为GC-KPL，用于在点云中学习人体关键点。该方法无需标注数据，即可实现3D关键点的学习。

• (2): GC-KPL方法包括两个阶段。第一个阶段，采用同构Transformer对点云进行组合，并在组合后的点云上采用无监督损失函数进行关键点位置的学习。第二个阶段，采用一系列的微调方法和增强方法对训练得到的模型进行优化，以提高模型的泛化能力和准确性。

• (3): GC-KPL方法同时考虑了人体结构和运动，并将学习得到的关键点应用于downstream任务中。在实验中，作者将GC-KPL方法与其他基于监督学习和无监督学习的方法进行比较，并在Waymo Open Dataset数据集上进行了验证实验。结果表明，GC-KPL方法可以达到和监督学习方法相当的结果，并且在few-shot learning方面表现出较好的泛化能力。

7. Conclusion:

• (1): 本文提出了一种无监督学习的方法，可以在点云中学习人体关键点，无需人类标注数据即可实现关键点的估计，其在无人驾驶领域中有广泛的应用前景。
• (2): 创新点：本文提出了基于几何一致性的无监督学习方法，可以无需标注3D关键点即可实现人体关键点的学习。性能：实验结果表明，GC-KPL方法可以达到和基于监督学习的方法相当的结果，并且在few-shot learning方面表现出较好的泛化能力。工作量：相对传统的需要大量标注数据的方法，本文提出的方法省去了标注的工作量，但在微调和增强模型方面需要一定的工作量。