OpenMMLab-2-人体姿态估计、关键点检测与MMPose

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

一、人体姿态估计或关键点检测任务

任务介绍

给定一张图片，任务要求检测图像中人脸、手部、身体等部位的关键点。
输入： 图像 I
输出：所有关键点的像素坐标(x1,y1)…(xJ, yJ)，这里的J为关键点的总数，取决于具体的关键点检测任务和模型。
关键点检测可以预测人体关键点在三维空间中的坐标( x , y , z )，进而在三维空间中还原人的姿态。

下游任务

PoseC3D: 基于人体关键点识别行为动作。这项工作已被开源在 MMAction2 中。
CG、动画: 基于3D人体关键点检测，根据人体姿态，表情姿态的关键点的变化驱动动画人物的动作

除此之外，还有很多有趣的应用：

1 人机交互：通过识别人手部的动作和姿态去控制其他物体；
2 动物行为分析：检测动物关键点，分析动物的行为

二、2D 姿态估计

在图像中定位人体关键点（通常为人体主要关节）的坐标，如臀部、颈部和左右手坐标等。

基本思路1：基于回归 (Regression Based)

关键点检测问题可以认为是一个回归问题，输入一张图片，让模型回归关键点的坐标。
通常深度学习模型直接回归坐标有些困难，精度不是最优。

基本思路2：基于热力图 (Heatmap Based)

基于热力图的方法，并不是直接的回归关键点的坐标，而是预测关键点位于每个位置的概率。

从数据标注到热力图

多人姿态估计

自顶向下

自顶向下的方法包括基于回归和基于热力图的方法，方法包括两个步骤：

1. 使用目标检测算法检测每个人体的区域；
2. 基于单人图像估计单人姿态；

自底向上方法

自底向上的方法包括两个步骤：

1. 使用关键点检测模型检测输入图像中的所有关键点；
2. 基于位置信息和其他辅助信息，将关键点组合成不同人的关键点；

单阶段方法

三、3D姿态估计

任务描述：给定一张图像，检测图像中所有人所有关键点的空间坐标( x , y , z )

四、评估指标

Percentage of Correct Parts (PCP)

PCP以肢体的检出率作为评价指标

Percentage of Detected Joints (PDJ)

PDJ 以关键点的位置精度作为评价指标

Percentage of Correct Key-points (PCK)

PCK以关键点的检测精度作为评价指标

Object Keypoints Similarity (OKS) based mAP

OKS based mAP以关键点相似度(OKS)作为评价指标计算mAP，OKS是MS COCO竞赛指定的关键点评价指标。