本文列举了如下七篇在人体姿态估计领域很有代表性的文章。
典型的single-stage网络:
2017 coco关键点冠军【CPN,1711.07319.pdf】。
2018CVPR alphapose【RMPE,1612.00137.pdf, CrowdPose,1812.00324.pdf】。
2018CVPR 【SimpleBaselines,1804.06208.pdf】
典型的multi-stage网络:
2016ECCV【Hourglass,1603.06937.pdf】。
2019coco关键点冠军【Hrnet,1902.09212.pdf】。
2019CVPR改进Hrnet【HigherHRNet,1908.10357.pdf】
指出multi-stage网络存在的问题:
2019CVPR 【MSPN,1901.00148.pdf】
本论文中值得学习的思想如下:
RMRE:论文中值得学习的思想如下:
Symmetric Spatial Transformer Network – SSTN 对称空间变换网络:在不准确的bounding box中提取单人区域
Parametric Pose Non-Maximum-Suppression – NMS 参数化姿态非最大抑制:解决冗余
Pose-Guided Proposals Generator – PGPG 姿态引导区域框生成器:增强训练数据。
该方法能够处理不准确的bounding box(边界框)和冗余检测。
CrowdPose:论文中值得学习的思想如下:
本论文中值得学习的思想如下:
一篇很好的介绍Hourglass的文章。
本论文中值得学习的思想如下:
一篇很好的介绍Hrnet的文章。
本论文中值得学习的思想如下:
本论文的主要思想:
以Hourglass网络为代表的multi-stage网络在Mpii的数据集上有不错的效果,然而Hourglass网络在coco数据集上的表现并没有以CPN为代表的single-stage网络优秀。然而另一个multi-stage网络Hrnet确在coco上获得了很好的成绩。所以这并不能说明这两大类网络的优劣。基于Hourglass在coco数据集上并不是很优秀的表现,本文重新思考了这种多阶段策略。并得出了如下三个结论:
从上述Hourglass的网络结构示意图中,我们可以发现在每个stage中,特征图先被降采样,然后升采样,从上图红色区域我们可以发现整个过程网络的通道保持了一致,该过程导致每个降采样后特征的损失。因为降采样后特征图变小了,只有将通道数扩大,才能在升采样时把损失补充回来。
抛弃hourglass的每个stage的连接方式,而使用U-net这种连接方式. 文章认为这种做法可以有效的传递上一个stage的信息给下一个stage,从而促进下一个stage更好的预测pose,如下图所示.
不同的stage对应的label heatmap 高斯核范围大小不同. 下一stage的heatmap label 高斯核要比上一stage的heatmap label 高斯核更小,如图所示: