极简笔记 AlphaPose

极简笔记 RMPE: Regional Multi-Person Pose Estimation（AlphaPose）

论文地址：https://arxiv.org/abs/1612.00137

本篇是上交AlphaPose文章，采用自上而下方法，目前是state-of-art，比face++在COCO2017中champion模型高了0.2个百分点。

文章使用网络的主要架构是先RPN检测人体，然后对ROI经过STN之后有两个支路，一个支路由SPPE（single person pose estimation）算法+SDTN（是STN的逆变换），再经过pose nms得到姿态。另一条支路只有SPPE（这个分支的SPPE参数和另一个的保持一致，叫parallel SPPE，且在反传时不学习），回归到中心化的姿态。

文章的想法是proposal中人并不一定在中间位置，因此通过STN变换到中间位置，之后进行姿态估计计算，然后通过SDTN转回到原坐标。加parallel SPPE是为了引导STN发挥中心化姿态的作用。文章尝试过对parallel SPPE也进行参数学习，但是发现会损害性能，因此改用这部分的SPPE不学习，只允许反传梯度给STN进行学习。

由于每个proposal对应一个姿态，因此需要对姿态进行NMS。文章新定义了一种姿态距离，同时加了带参数的NMS来选择最优姿态，具体细节见文章。

文章还另外提了一种增广数据的方法。通过统计不同姿态下detector得到的proposal与gt bbox之间offset的分布，之后按照分布进行dense sample，即进行了数据增广。

文章最优结果选用ResNet152 based Faster-RCNN作为检测器，PyraNet作为SPPE网络，加上多尺度测试。以下为COCO的对比结果。