openpose姿态估计【学习笔记】

1、人体需要检测的关键点

在本项目中，需要检测人体18个关键点，除了下图所标注的17个关键点外，还有1个脖子关键点

2、Top-down方法

1、检测得到所有人的框；
2、对每一个框进行姿态估计输出结果

Top-down方法的问题
1、姿态估计做成啥样主要由人体检测所决定，能检测到效果估计也没问题
2、但是如果俩人出现重叠，只检测到一个人，那肯定会丢失一个目标
3、计算效率有点低，如果一张图像中存在很多人，那姿态估计得相当慢了

能不能设计一种方法不依赖于人体框而是直接进行预测呢？有的，接下来请看下面的方法

3、Openpose

3.1 姿态估计的步骤

姿态估计的2个步骤
1、识别出图片中所有关键点，
2、按顺序拼接同属一个人的所有关键点

如下面左图所示，我们识别人体18个关键点中的右肩关键点，就在图片中建立热度图（高斯），识别18个关键点就需要建立18个特征图

3.2 PAF（Part Affinity Fields）部分亲和场

PAF作用：将属于同一个人的不同关键点按顺序拼接

整体框架如下，1张图片经过CNN网络后分成2个网络，Parts Detection网络是预测关键点，Parts Association网络是预测方向，人体18个关键点总共需要19个不同的方向，而确定方向至少需要1个平面，即 $x$ 和 $y$ 坐标，所以Parts Association需要预测19x2=38个特征图

3.3 制作PAF标签

Parts Association输出38张特征图，其中19张特征图预测 $x$ 坐标，19张特征图预测 $y$ 坐标，每一张特征图的像素点都需要输出坐标值。在PAF标签处理中，把2个关键点所包围的矩形当中的所有像素值的方向与2个关键点的方向都一致。

蓝色和红色分别是两个关键点，$V$ 是其向量,

对于其中某个PAF特征图（19种连接方式种的1种），这就相当于得到PAF标签值了，包括所有人在该连接处的向量，

3.4 PAF权值计算

两个关键点j1与j2之间的权值计算方法

$d_{j1}$，$d_{j2}$分别表示j1与j2两点的坐标，求j1和j2间各点的PAF在线段j1j2上投影的积分，其实就是线段上各点的PAF方向如果与线段的方向越接近权值就越大

3.5 匹配方法

4、CPM（Convolutional Pose Machines）模型

为OpenPose后面的工作奠定了基础，也可以当作基础框架，通过多个stage来不断优化关键点位置（stage1预测完全错误，2和3在纠正）

stage越多相当于层数越深，模型感受野越大，姿态估计需要更大的感受野，因为进行关键点检测需要更多关于人体的信息，所以感受野越大则人体的信息越多，关键点检测越能检测准确

使用多个stage级联的思想，每个stage都加损失函数，也就是中间过程也得做的好才行

5、Openpose

两个网络结构分别搞定：1、关键点预测；2、姿势的‘亲和力’向量
使用多个stage级联的思想，2个网络结构输出之后再进行特征融合，因为方向的预测离不开关键点的位置信息，关键点的位置信息也与方向有关

5.1 序列的作用

多个stage，相当于纠正的过程，不断调整预测结果

5.2 整体框架

两个分支都要经过多个阶段，注意每个阶段后要把特征拼接一起