体感（Kinect）技术开发和应用简介

    体感有多种；Kinect是微软做的；

一 微软 Kinect 技术简介

    Kinect使人机交互从二维扩展到三维，进入到非接触的交互体验。
    Kinect硬件基本组成：传动马达，用于仰角控制；彩色摄像头；红外摄像头；红外投影机；麦克风阵列（4个）；主板和芯片；底座，风扇等；
    工作原理。Kinect传感器提供三大类原始数据：深度数据流（depth stream），彩色视频流（color stream），原始音频数据（raw audio stream）；分别对应三个处理过程：骨骼跟踪（Skeletal Tracking），身份识别（Identify），语音识别（Speech Pipeline）。
    Kinect SDK应用层API包括三大组件：NUI API，SDK的核心，用来处理彩色图像流，深度数据，骨骼跟踪，控制Kinect设备；Kinect Audio DMO，提供波束成形和音源定位功能；Speech SDK，音频、语音、多媒体API以及微软语音识别功能。
    初始化API时，设定骨骼跟踪选项，应用程序可以最多同时骨骼跟踪2个用户，获得每个用户20个骨骼关节点的三维坐标。（Kinect SDK 1.7版本）
    开发所需技能。C#，WPF；或C++；常用数据结构；常用解析几何、坐标变换；图形学基础，如位图、像素；熟悉一些3D开发环境更好。
    系统要求：Kinect SDK可以免费下载；Kinect 传感器可在亚马逊或京东购买；Win7, VS2010以上。

   Kinect的视距和骨骼跟踪范围不是很大，大体是几米范围的一个立体空间。
    一般开发之初可以先根据获取的骨骼关节绘制火柴人，以初步了解开发。火柴人就是指返回关节坐标给程序，自己连线来绘制一个人形。Kinect可返回的人体关节和火柴人示例如下；

此二图片转自 https://blog.csdn.net/javayacare/article/details/84485264

 

二 体感应用简介

 

虚拟应用
    Kinect试衣镜，基于kinect体感技术的试衣镜，让客户能够高速的试穿衣服；就是不用脱衣服，可以快速看到一件件衣服穿在身上的效果；

3D建模
    3D摄像机， 用两个KINECT实现3D摄像机的基本效果；
    利用Kinect对人体进行3D建模，然后依据人体的3D信息，连接对应的塑模设备，塑造出人体塑像；

机械控制
    用Kinect 操控遥控直升机；
    Kinect Robo，使用Kinect作为机器人的头，通过kinect检測周围环境，并进行3D建模，来指导机器人的行动；

虚拟乐器
    空气吉他，通过Kinect手势操作虚拟吉他弹奏音乐；
    Kinect弹奏中国古代乐器，通过手势的改变能够演奏出不同中国古代乐器的声音；

计算机相关应用
    Kinect手势操作浏览器，通过Kinect手势对浏览器进行翻页，下拉，放缩等操作；
    Kinect体感控制看片，应用在手术室，手术者可通过体感控制查看患者的影像资料；因为戴手套的情况下不方便用鼠标和键盘操作电脑；

虚拟实验
    Kinect蜡笔物理，使用Kinect手势画图，通过体感控制所画图形，并使之具有物理特性，比方重力，吸引力等；

也可以将主持人与背景图合成，实现类似天气预报导播。

最常见的应用还是骨骼跟踪，手势识别，通过手势来进行一些操作，如ppt翻页这些；

这是以前做的项目；使用手势控制地图的平移、缩放、偏转；以及用手势选中来查看具体某一条输电线路；

这是当时顺手拍的；前景人和背景图合成；

这是Kinect的设置界面；包括返回的彩色图像，深度图像（右上角这个），仰角控制，波束和音源；

当时做的时候是Kinect 1.7版本；到3.0版本以后微软已停止了Kinect开发；大概用的人不是太多；这东西还是一个好东西；主要是没有懂行业应用的人去推广；