PoseGait：A model-based gait recognition method with body pose and human prior knowledge

Related work

• 基于外观的识别方法：

常见的输入数据形式最常见的是GEI。对GEI的处理方式一般为：

• 1)从视频中提取人体轮廓;
• 2)通过轮廓对齐和平均计算步态能量图像GEI;
• 3)然后计算两个GEIs之间的相似关系

也有直接使用剪影的方法，如Gaitset。

但是基于外观的识别方法主要的挑战是 角度 / 载荷 / 衣物 / 遮挡 等，它们会改变人的轮廓。

• 基于模型的方法

先建立人体的模型，根据输入数据得到模型参数，而后对模型参数变化进行分类。

难点在人体模型的定位精度以及计算量。

对人体模型的抽象方式和特征表达：

• [1] by Nixon 一个简单的棍模型来模拟腿，然后用一个清晰的钟摆运动来模拟腿在走路时的运动。将频率分量作为步态特征进行识别。
• Wang et al. [3] 认为关节角度的时域变化可以用于识别。提出多连接刚体模型，将刚体分为14个部分，每个部分通过一个关节连接。
• Feng等人 [12] 从人体关节提取时间特征，使用从RGB图像而非剪影中提取的人体关节热图来描述人体姿态
• Kastanio- tis等人[13] 使用来自低成本Kinect传感器的骨架数据。但是监控常见的还是RGB图像

 

PoseGait

认为3D的姿态信息比轮廓信息维度更低且更加紧凑。

使用了四种特征(3D姿态+关节角度+肢体长度+关节动态，其中后三种是handcrafted)，拼接之后作为输入数据（在输入之前拼接）。

• 人体姿势特征

图片是2D的，所以进行特征点定位和姿态估计的时候，先得到2D的模型

1.二维模型的获取

文章使用的是OpenPose [6] .它可以从二维的图片/视频中得到18个关节点：

鼻、颈以及左右的肩、肘、腕、髋、膝、踝、眼、耳

为了防止目标与摄像机距离对结果的影响，会进行归一化：

• 颈部和臀部之间的距离被视为单位长度。
• 臀部的位置是在左臀点和右臀点的中心。
• 颈部位于平面坐标系的原点。

换算方法：

 

 2. 三维模型的获取

当视图被改变时，2D的姿态也会发生巨大的变化。所以它对试点的变化是不稳健的。解决方法是从二维姿态来估计三维姿态。[18]的独特优势在于它可以从单幅图像中估计出三维姿态，特别是通过人体约束得到的二维姿态。

2维向3维的转化方法：在[18]中，输入数据应该是14个关节的位置。openpose给出的是18个，故将头部的各点进行平均作为头部坐标。

视角归一化：将x方向设置为受试者的正面方向，将y方向设置为由左肩和右肩定义的身体一侧，将z方向设置为与地面垂直的方向。将三维位姿在该三维空间中旋转并归一化。

 

• 时空特征

基于先验知识的特征减轻深度神经网络的任务。受特征关节的启发，设计了三种附加的时空位姿特征：

1. 关节角，即某些关节处变化的角度；
2. 肢体长度，人体静态测量;
3. 关节运动，用动态特征来描述运动模式。

1.关节角度

下肢关节角度的变化有利于步态识别。

三维角度的计算方法：

2.支干长度

肢体长度是两个相邻关节之间的距离。对载荷、角度、衣着不敏感

每个人体骨骼模型有13个静态肢体长度。

3.关节动态

利用帧间差异来获取动态信息。关节运动由两个相邻帧之间的差来定义，帧c和帧c+1：

 

• 特征拼接

这四个向量可以连接成一个长向量来表示姿势、运动和静态身体测量。不同帧的特征向量可以组合在一起形成特征矩阵，如图5所示。

但是因为动态信息 f_motion是两帧差分得到的，所以数量会少于其他三个，解决办法是用一个零向量使矩阵完备。

 

• 网络结构

由于特征是逐帧提取的，并且是序列数据，因此对序列数据采用RNN[23]和LSTM[24]的方法是合理的。

有两种损耗，Softmax Loss 和 center loss。

• Softmax Loss 可以将输入分为不同的类别。这意味着softmax的损失会扩大类间差异。
• center loss 可以通过最小化类内变化来保持不同类的特征可分离。

λ = 0.008

 

实验

实验数据和设置：

• CASIA B步态数据集

这个数据集比较熟悉了。

训练集：前62名受试者，

测试集：其余受试者。

受试者测试方法：gallery集由每个受试者的前4个正态行走序列组成

                              probe集由其余序列组成

对比实验：SPAE[8]和GaitGAN[34]

• CASIA E步态数据集

是由中国科学院和Watrix公司共同开发的最新步态数据集。该数据集包含1014名受试者，比CASIA b大得多。与其他超过1000名受试者的步态数据集不同，步态数据是从13个不同视角收集的。视图从0到180，在水平方向上有15个间隔。每个受试者有6个序列。分别为正常步行(NM)、带包步行(BG)和穿外套步行(CL)的2个序列。正在处理隐私问题，稍后会发布数据集。

实验设置类似于在CASIA B。

训练集：CASIA E数据集的前507名受试者,和被放入

测试集：剩下507名受试者。测试集,有两种类型的设置。

1. 对于相同视点条件下的正常行走，同一视点上只有两个正常行走序列。gallery为第一个正常行走序列，probe为第二个正常行走。
2. 在第二种设置中，将前2个正常行走序列放入gallery中，将其余行走序列放入probe中。