论文阅读:《Stacked Hourglass Networks for Human Pose Estimation》ECCV 2016

概述

本文仍然是使用全卷积神经网络,对给定的单张RGB图像,输出人体关键点的精确像素位置,使用多尺度特征,捕捉人体各关节点的空间位置信息。网络结构形似沙漏状,重复使用top-down到bottom-up来推断人体的关节点位置。每一个top-down到bottom-up的结构都是一个stacked hourglass模块。

论文阅读:《Stacked Hourglass Networks for Human Pose Estimation》ECCV 2016_第1张图片

沙漏网络

论文阅读:《Stacked Hourglass Networks for Human Pose Estimation》ECCV 2016_第2张图片

Motivation:使用沙漏网络的目的是为了反复获取不同尺度下图片所包含的信息。例如一些局部信息,包括脸部和手部信息。最后的人体姿态估计需要对整个人体做一个理解,因此需要结合不同尺度下的信息,人体的方位,肢体的动作以及相邻关节点的关系。

Design:单个的hourglass模块对应的是一个residual模块,它的拓扑结构是对称的。最开始的卷积层和池化层是为了将特征映射到很小的分辨率。每经过一次池化,进行一次下采样,网络从这里开始分叉——下采样之前的特征图经过卷积保留下来,和之后bottom-up上采样到相同分辨率的特征图融合;下采样之后的特征图继续卷积池化操作。当达到最小分辨率后,网络开始上采样,使用双线性差值,并开始融合不同尺度的信息。Hourglass网络的输出再经过两个连续的1*1的卷积处理,得到最终的输出。输出是一个heatmap的集合,表示的是各个关节点在该像素出现的概率。

residual模块

论文阅读:《Stacked Hourglass Networks for Human Pose Estimation》ECCV 2016_第3张图片

Residual网络的作用是既提取高层的特征,又保留原有层次的信息。Residual网络结构:1*1卷积降维(256到128),3*3卷积,1*1卷积升维(128到256)。最后使用8个沙漏网络,每个沙漏网络的输入都是64*64。因为输入图片是256*256,一共经过一个卷积层(7*7 with stride=2,一次下采样)和一个池化层(第二次下采样)。

中继监督

Hourglass网络输出heatmap的集合(蓝色),将这与ground truth进行误差计算,其中使用1*1的卷积层进行处理是为了保证通道数相同,这是一种保证通道数相同很常见的方法,对每一个hourglass网络都添加loss,这就相当于是8个loss一起监督。

论文阅读:《Stacked Hourglass Networks for Human Pose Estimation》ECCV 2016_第4张图片

训练和测试

采用MPII数据集,以人为目标裁剪图片。Resize到256*256,+/-30度旋转,0.75-1.25尺度变换。测试的时候,原始图片和翻转图片,输入到网络中,取输出的heatmap的平均值,最终输出的各heatmap的最大值作为关节点的位置。

总结

本文的设计基于模块到子网络再到完整网络的思想。一阶hourglass网络就是一个最简单的旁路相加,上半路在原尺度进行,下半路先经历下采样再进行上采样。对于二阶hourglass网络,就是在一阶的基础上将一阶网络嵌套进来。至于之后的高阶hourglass就是一层一层嵌套,从本质上说子模块都是一样的。

模块特点:

  1. 每次下采样前,分出一路保留原尺度信息
  2. 每次上采样之后,和上一尺度的特征融合
  3. 两次下采样之间,用三个residual模块提取特征
  4. 两次相加之间,使用一个residual模块提取特征

因此整个hourglass不改变特征的尺度,只改变特征的深度。

开源实现

https://github.com/anewell/pose-hg-train(torch版本)
https://github.com/wbenbihi/hourglasstensorlfow (tensorflow, 单人PCK达到90%,速度:可以做到本地实时,28-30 FPS on NVIDIA GTX 1070 for single person detection,13-18FPS for multiple person detection,多人检测采用自顶向下的方法,先用YOLO检测出人体,再进行人体姿态估计)

Reference:http://blog.csdn.net/shenxiaolu1984/article/details/51428392

你可能感兴趣的:(人体姿态估计)