Stacked Hourglass Networks for Human Pose Estimation

介绍

这是一篇2016年做单人姿态估计的文章

实验用的是MPII sigle 和 FLIC ,指标PCKh

Stacked Hourglass Networks for Human Pose Estimation_第1张图片

通过堆叠沙漏结构的网络进行人体姿态估计

沙漏结构指通过pooling得到低分辨率的特征,然后通过上采样得到高分辨率特征的网络结构

论文指出该网络可以捕获并控制图像所有尺度上的信息。

另一方面,沙漏网络区别于先前的设计,主要在其更对称的拓扑结构。

通过连续堆放这样的沙漏网络,可以实现重复的bottom-up,top-down的推理

论文所提结构成功的原因有两点:

  1. 上述的重复双向推理
  2. 训练过程中使用了中间监督

Stacked Hourglass Networks for Human Pose Estimation_第2张图片

这个单沙漏网络的特点在于在推导heatmap时,既使用到高层的语义,也结合了底层的纹理信息,这样使得定位更加准确

然后通过多个沙漏网络堆叠方式,让后面的网络学习前面网络学习不到的东西,即更难的骨骼关键点检测,finetune再finetune,取得更好的结果下面左边的图展示了,第二层hourglass输出和最后一层(第八层)的结果对比,从例子看明显第八层的finetune后结果比第二层要好不少

Stacked Hourglass Networks for Human Pose Estimation_第3张图片

上面右边的图是为了说明性能提升究竟是加深网络导致的,还是本文所提的堆叠多个finetune沙漏结构所取得的

中间的图是PCKh结果,上面的点是各网络各子沙漏的结果,同意网络,越往后的层效果越好,网络深度相同的情况下,分越多的子沙漏会比分的少网络,最终输出的结果会高那么一点点

感觉这里缺了一个单层的结果,即没有finetune时的效果,当然也可以把总网络的一半当作是单层效果,分别看分两层和4层的效果如何(0.846,0.865,0.871)

 

你可能感兴趣的:(pose,pose,estimation)