基于Kinect的人体三维姿势实时识别方法研究

摘 要: 针对传统的二维图片姿势识别算法计算成本高、实时性不强的问题，本文提出了一种基于三维的人体动作实时识别的方法。该方法首先通过Kinect获取人体三维骨骼数据，映射到使用Unity3D建模得到的人物模型上。然后对模型骨骼数据提取三维信息与标准动作库模型进行空间位置特征、空间角度特征以及关节夹角特征三个方面对动作进行匹配的方法,提高了关节点角度测量的稳定性,并在此基础上改进了基于关节点角度的姿势识别方法, 实验表明，该方法在普通硬件平台上运行速度较快，且可准确识别人体姿势、可以满足三维姿势识别的实时性，推广性强。
关键词: 姿势识别; Kinect传感器; 实时识别;骨骼数据

1 引言
随着人机交互和计算机技术的发展，人的身体作为人机交互的重要媒介之一，越来越得到更多人的关注。人体姿势更是表现出越来越多的信息，在康复医疗领域也发挥着重要的作用。
在国内外很多机构都在做相关的研究。在一些基于深度学习[1-3]的姿态识别都可以达到很高的准确性。Z. Cao等人[1]能够针对图像做到实时检测,它使用 CNN根据置信图进行关节点预测,另一路使用CNN 获得每个关节点的置信度，两路进行联合学习和预测。H.-S. Fang等人[3]识别人体姿态使用的是state-of-the-art的Stacked Hourglass方法，致力于解决检测带来的定位误差，但是多人识别速度较慢。对于可穿戴式传感器（头盔、手套、加速传感器等）进行人体姿势识别[4][5]，这种方式相对准确，实时性高，但是，一方面设备需要加大成本，另一方面穿戴规范有一定的要求，造成方便性降低和准确性降低。对于基于图片的静态
利用Kinect的人体姿态识别中[6-11] ，Zhan等人[6]采用角度测量的方法进行姿势识别，但是由于没有对骨骼的三维数据实行预先分类，导致关键姿势提取不够准确。Li等人[8]没有将骨骼关节点之间距离考虑在内，因此可能会有关节点重合的问题，影响准确度。
因此，为了提高姿势识别的准确度和测量的实时性，本文提出了一种人体关节点角度测量和距离测量相结合的算法。既提高了姿势匹配的精确度，有可以达到很强的实时性。
2 方法
整体的实验流程如下：

在这里插入图片描述3 相关技术
J.F.Wu等人的[15]使用基于角度测量没有解决关节点重合的问题，影响准确度。本论文提出了使用距离相似度和角度相似度可以满足Li等人[8]的文献上所达到的实时性，又可提高姿势匹配的准确度。
3.1 Kinect骨骼数据提取
Kinect所拥有的骨骼追踪技术，可以实时获取到人体25个关节点位置的三维坐标。根据关节位置的三维信息可以表示人体姿势的角度特征和距离特征。如图一即为Kinect提取的人体骨架关节点信息。

Fig.1 Joints of human skeleton
图1 人体骨架关节点
3.2关节点之间的位置特征
在2.1中我们获取了人体的25个关节点，然后求取两个关节点之间的距离和关节点之间特征矢量。假设相邻两个关节点之间位置特征点表示为(xi,yi,zi)和(xj,yj,zj)，则他们的距离表示为公式(1)，关节点之间组成的向量表示为公式(2) 。来计算两个姿势的距离相似度。

n=(xi,yi,zi)- (xj,yj,zj) (2)
通过各个角度
3.3 关节点之间的角度特征
本文使用两种方法计算余弦相似度和角度相似度。
3.3.1 两点法计算余弦相似度

Fig.3 Joints of human skeleton
图3 关节点角度计算

（2）

3.3.2 向量法就算角度相似度

Fig.4 Joints of human skeleton
图4 关节点角度计算

2 实验流程

3 图表

(a) English (b) English
(a) 中文 (b) 中文

Table 1 English
表1 中文

References[英文参考文献]:
[1] Z. Cao, T. Simon, S.-E. Wei, and Y. Sheikh. Realtime multiperson 2d pose estimation using part affinity fields. In IEEE Conference on Computer Vision and Pattern Recogni-tion(CVPR), 2017. 4327, 4328
[2] Chen X , Lin K Y , Liu W , et al. Weak-ly-Supervised Discovery of Geometry-Aware Representation for 3D Human Pose Estima-tion[J]. 2019.
[3] H.-S. Fang, S. Xie, Y.-W. Tai, and C. Lu. RMPE: Regional multi-person pose estimation. In ICCV, 2017.
[4] 刘锦怡, 张乐, 胡海波,等. 强鲁棒性的可穿戴传感器的人体动作识别方法[J]. 计算机工程与应用, 2017, 53(4):176-183.
[5] 刘杰, 黄进, 田丰,等. 连续交互空间下的混合手势交互模型[J]. 软件学报, 2017, 28(8):2080-2095.43(9):13-16.
[6] 战荫伟, 于芝枝, 蔡俊. 基于Kinect角度测量的姿势识别算法[J]. 传感器与微系统, 2014, 33(7):129-132.
[7] 王怡, 朱晓文, 曲成璋. 基于Kinect的健身动作识别与评价[J]. 计算机科学与应用, 2018, 8(7): 1134-1145 bushi核心
[8] 李红波, 李双生, 孙舶源. 基于Kinect骨骼数据的人体动作姿势识别方法[J]. 计算机工程与设计, 2016, 37(4): 969-975.
[9] 辛义忠, 邢志飞. 基于Kinect的人体动作识别方法[J]. 计算机工程与设计, 2016, 37(4):1056-1061.
[10] 朱大勇，郭星，吴建国. 基于kinect三维骨骼节点的动作识别方法[J]. 计算机工程与应用, 2018, 54(20):157-163.
[11] Qin C, Song A, Wu C, et al. Scenario interaction system of rehabilitation training robot based on Unity3D and Kinect[J]. Chinese Journal of Scientific Instrument, 2017, 38(3):530-536.
[12] 黄文明, 莫阳. 基于文本加权KNN算法的中文垃圾短信过滤[J]. 计算机工程, 2017, 43(3): 193-199
[13] 张全贵, 蔡丰, 李志强. 基于耦合多隐马尔可夫模型和深度图像数据的人体动作识别[J]. 计算机应用, 2018, 38(2):454-457.
[14] 王松, 党建武, 王阳萍,等. 实时动作识别方法研究[J]. 计算机工程与应用, 2017, 53(3):28-31.
[15] 吴剑锋，马梦鑫，蒋濛婷，等. 基于Kinect的坐姿意图判断及其应用研究[J]. 计算机应用与软件, 2018, 35(10):200-205.

附中文参考文献：
详细编写要求见网页下载中心“参考文献著录格式”。

               A





       B