论文笔记——SCIO

备注：代码尚未开源

摘要：

        我们观察到，由于不同身体部位的生物约束，人类姿态表现出很强的群体结构相关性和关键点之间的空间耦合。这种群体结构相关性可以提高人体姿态估计的准确性和鲁棒性。在这项工作中，我们开发了一个自约束的预测-验证网络来表征和学习在训练过程中关键点之间的结构相关性。在推理（测试验证）阶段，来自验证网络的反馈信息允许我们对姿态预测进行进一步的优化，这显著提高了人体姿态估计的性能。具体来说，我们根据人体的生物结构将这些关键点划分为若干组。在每一组中，关键点被进一步划分为两个子集，高置信度基础关键点和低置信度终端关键点。我们开发了一个自约束预测验证网络来在这些关键点子集之间进行正向和反向预测。

        在姿态估计和一般预测任务中的一个基本挑战是，我们没有机制来验证所获得的姿态估计或预测结果是否准确，因为ground truth，真实标注是不可用的。一旦学习成功，验证网络将作为前向姿态预测的精度验证模块。在推理阶段，可以以高置信关键点上的自约束损失作为目标函数，指导低置信关键点的姿态估计结果的局部优化。

一、前言

 

如图1所示，这项工作的动机是以下两个重要的观察结果：