Kinect v2.0 骨骼跟踪

引言

之前已经了解过了，三个眼睛的坐标系，

参考
骨骼跟踪的原理

生成3D深度的图像的原理

采用的是PrimeSence公司Light Coding技术。

• Light Coding技术理论是利用连续光(近红外线)对测量空间进行编码，经感应器读取编码的光线，交由晶片运算进行解码后，产生成一张具有深度的图像。
• Light Coding技术的关键是Laser Speckle雷射光散斑，当雷射光照射到粗糙物体、或是穿透毛玻璃后，会形成随机的反射斑点，称之为散斑。
• 散斑具有高度随机性，也会随着距离而变换图案，空间中任何两处的散斑都会是不同的图案，等于是将整个空间加上了标记，所以任何物体进入该空间、以及移动时，都可确切纪录物体的位置。
• Light Coding发出雷射光对测量空间进行编码，就是指产生散斑。

Kinect就是以红外线发出人眼看不见的class 1雷射光，透过镜头前的diffuser(光栅、扩散片)将雷射光均匀分布投射在测量空间中，再透过红外线摄影机记录下空间中的每个散斑，撷取原始资料后，再透过晶片计算成具有3D深度的图像。

Kinect骨骼跟踪的原理

了解Kinect如何获得影像后，接下来就是进行辨识的工作。透过Light Coding技术所获得的只是基本的影像资料，重点还是要辨识影像，转换为动作指令。

• 微软将侦测到的3D深度图像，转换到骨架追踪系统。该系统最多可同时侦测到6个人，包含同时辨识2个人的动作;每个人共可记录20组细节，包含躯干、四肢以及手指等都是追踪的范围，达成全身体感操作。
• 为了看懂使用者的动作，微软也用上机器学习技术(machine
  learning)，建立出庞大的图像资料库，形成智慧辨识能力，尽可能理解使用者的肢体动作所代表的涵义。

Kinect骨骼跟踪不受周围光照的影响，主要是因为红外信息，产生3D深度图像

Kinect 人体节点识别过程

另外，只要有大字形的物体，Kinect都会努力去追踪，当然，这个物体也必须是接近人体的大小比例，尺寸小的玩具是无法识别的。

在Kinect前放一个没有体温的塑料人体模特，或者一件挂着衬衣的衣架，Kinect会认为那是一个静止的人。红外传感器所能捕捉的只是一个人体轮廓。