人体姿态识别之RMPE

 

 

RMPE出自2017ICCV，RMPE: Regional Multi-Person Pose Estimation，是上海交大，卢策吾老师组的作品。

 

主流的姿态识别通常2个思路，

（1）two-step framework，就是先进行行人检测，得到边界框，然后在每一个边界框中检测人体关键点，连接成一个人形，缺点就是受检测框的影响太大，漏检，误检，IOU大小等都会对结果有影响，代表方法就是RMPE。

（2）part-based framework，就是先对整个图片进行每个人体关键点部件的检测，再将检测到的部件拼接成一个人形，缺点就是会将不同人的不同部位按一个人进行拼接，代表方法就是openpose。

 

整个框架包括3个部分，

SSTN(Symmetric Spatial Transformer Network)，对称空间变换网络，由STN，SDTN两部分组成，STN负责接收人体候选框，SDTN产生候选姿态，

PNMS (Parametric PoseNonMaximum-Suppression)，负责过滤掉多余的姿态估计

PGPG(Pose-Guided Proposals Generator)，就是SPPE这一部分，可以产生各种姿态图片，供训练过程使用。

 

安装步骤：

git clone https://github.com/MVIG-SJTU/RMPE.git
cd RMPE
cp Makefile.config.example Makefile.config
make all -j8
make pycaffe -j8

 

测试：

 

python examples/rmpe/demo.py

 

这里使用COCO数据集中的图片进行测试，从测试效果来看，没有openpose效果好，原因可能是这里的model并不是最新的Torch训练的模型吧。测试显卡1050TI。

 

 

reference:

https://github.com/MVIG-SJTU/RMPE