行人姿态估计--Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
CVPR 2017
Code: https://github.com/ZheC/Realtime_Multi-Person_Pose_Estimation
效果演示视频： https://youtu.be/pW6nZXeWlGM 如果可以看youtu 的话

多人姿态实时估计，这里主要亮点还是 多人实时+效果

感兴趣的可以看看相关文献： Convolutional Pose Machines   CVPR2016
http://blog.csdn.net/shenxiaolu1984/article/details/51094959

本文算法主要流程如下：

输入一幅图像，经过卷积网络提取特征，得到一组特征图，然后分成两个岔路，分别使用 CNN网络提取Part Confidence Maps 和 Part Affinity Fields ，得到这两个信息后，我们使用图论中的 Bipartite Matching 将同一个人的关节点连接起来得到最终的结果。

Part Affinity Fields 示意图：

两个分叉的CNN网络如下图所示：

a set of feature maps F ，confidence maps S，Part Affinity Fields L。
上面是一个迭代优化过程

为什么使用 Part Affinity Fields ？

Graph matching

结果对比：

COCO 2016 keypoint challenge：

有问题的图片：

时间分析：
GTX-1080 GPU
The original frame size is 1080×1920, which we resize to 368×654 during testing to fit in GPU memory

Our method has achieved the speed of 8.8 fps for a video with 19 people.

for 9 people, the parsing takes 0.58 ms while CNN takes 99.6 ms