Reading papers_14(关于depth image on hand segmentaion,ing...)

 

　　Real-time fingertip tricking and detection using Kinect depth sensor for a new writing-in-the air system 

　　本文是基于kinect的空中手写字的识别，即用一个手指在空中写字，写完后系统会自动判断出所写的字是哪一个。本人比较感兴趣的不是怎么识别出字体，而是怎样不断的很好的跟踪手指。读过文章发现，作者并不是完全从深度数据或颜色数据开始做的，而是利用OpenNI很多工作，比如OpenNI提供的身体分割图。并且该文章提出的分割和跟踪算法其使用条件也是相当的严格的，即人的手必须在伸出在身体前才能跟踪（因为作者是进行空中手写字体识别，所以这种假设也有一定道理）。首先得到人的身体部位图，然后获取手和手臂图，接着利用聚类的方法获取手的部位图，找到手指的那个点，最后进行字体的识别。其流程图如下：

　　

　　将手和手臂部分从身体部位提取出来，本文是采用直方图的方法，因为当手没有伸出身体前时，其深度直方图只有一个峰值，如果当手伸出去了要开始写字时，这时的深度直方图有2个峰值，可以用2个高斯模型来模拟，GMM的参数通过EM算法活动。峰值小的对应的就为手和手臂部分了。

　　当得到了手和手臂后，作者又采用2-means聚类算法来对这2部分聚类，最后能够很好的把手部分割出来。本文的聚类是采用的3D空间坐标，即包括了深度信息在里面。

　　不过效果好的原因时OpenNI已经提供了人体所有部分图，已经把背景部分给移除掉了。且还需要求人的手部在身体前才能工作。

 

　　Integrated Approach of Skin-color Detection and Depth Information for Hand and Face Localization

　　本文也是利用了MS的SDK来获得人体的深度分割图，然后在该人体图上采用皮肤模型来滤波，得到两只手和脸部的大概区域，最后通过3-means距离来得到这3个部位的中心，然后以每个中心画一个boundingbox，达到检测的目的。文章中总结了皮肤模型主要有线性阈值,单高斯，混合高斯，椭圆模型等。

　　本文的聚类是采用的2-D坐标。

　　该方法的缺点是如果人穿着短袖或者人的手举起来放在脸旁边，这时候手的定位就不准确了。另外它也是利用了SDK本身人体的数据，所以不存在背景干扰等问题。算法的流程图如下：

　　

 

　　Hand gesture recognition using color and depth images enhanced with hand angular pose data

　　本文没有用OpenNI或者MS SDK提供的人体部位图来做手部的定位，而是先用皮肤模型过滤掉非皮肤像素，然后假设手部是离kinect最近的地方，利用深度来获取手部区域，最后通过k-means聚类来获取手部的中心点，作者认为最后聚类时能获取到手部中心点，因为剩下来的大部分区域都在手部中心点周围，其它的杂点就过滤掉了。但是这里的k-maens中的k值不懂为多少，难道能够找自动找到最大数量的那个类？聚类所用的信息为空间3维点坐标。其流程图如下：

　　

 

 

　　Tracking of Fingertips and Centres of Palm using KINECT

　　这篇文章分割出手部用的方法很简单，也是利用OpenNI提供的手部跟踪点，取周围区域且满足一定深度的像素作为手部，没有利用颜色信息和聚类方法，当然了这个效果就很一般了，只有当手在前面的时候还行。不过本文检测手指方法比较好玩，是利用先检测出手掌心，然后利用原手部减掉手掌心后剩下的就是手部了。

 

　　Open/closed hand classification using Kinect data

　　这篇文章的手部分割既利用了OpenNI提供的人体部位图，也利用了OpenNI提供的人体手部跟踪点，这样当然有很好的分割效果了。只是最大的缺点是人必须先站立（因为获取人体部位图需要站立）。 后面作者主要是完成手张开和握拳的识别，利用的是有关手的几个面积的数学表达式，不需要训练。

 

　　Recognizing Hand Gestures with Microsoft’s Kinect

　　这篇文章是也是利用了皮肤信息和深度信息来分割手部的。但是它既没有利用到第三方提供的人体部位图，也没有用到第三方提供的手部跟踪点图。当然了该算法的使用条件也是手必须放在身体前面。作者使用了大量皮肤统计先验知识很深度先验知识，最后通过贝叶斯方法将深度信息和皮肤信息结合起来做的分割。