体感(Kinect)技术开发和应用简介

    体感有多种;Kinect是微软做的;

一 微软 Kinect 技术简介

    Kinect使人机交互从二维扩展到三维,进入到非接触的交互体验。
    Kinect硬件基本组成:传动马达,用于仰角控制;彩色摄像头;红外摄像头;红外投影机;麦克风阵列(4个);主板和芯片;底座,风扇等;
    工作原理。Kinect传感器提供三大类原始数据:深度数据流(depth stream),彩色视频流(color stream),原始音频数据(raw audio stream);分别对应三个处理过程:骨骼跟踪(Skeletal Tracking),身份识别(Identify),语音识别(Speech Pipeline)。
    Kinect SDK应用层API包括三大组件:NUI API,SDK的核心,用来处理彩色图像流,深度数据,骨骼跟踪,控制Kinect设备;Kinect Audio DMO,提供波束成形和音源定位功能;Speech SDK,音频、语音、多媒体API以及微软语音识别功能。
    初始化API时,设定骨骼跟踪选项,应用程序可以最多同时骨骼跟踪2个用户,获得每个用户20个骨骼关节点的三维坐标。(Kinect SDK 1.7版本)
    开发所需技能。C#,WPF;或C++;常用数据结构;常用解析几何、坐标变换;图形学基础,如位图、像素;熟悉一些3D开发环境更好。
    系统要求:Kinect SDK可以免费下载;Kinect 传感器可在亚马逊或京东购买;Win7, VS2010以上。

   Kinect的视距和骨骼跟踪范围不是很大,大体是几米范围的一个立体空间。
    一般开发之初可以先根据获取的骨骼关节绘制火柴人,以初步了解开发。火柴人就是指返回关节坐标给程序,自己连线来绘制一个人形。Kinect可返回的人体关节和火柴人示例如下;

体感(Kinect)技术开发和应用简介_第1张图片

体感(Kinect)技术开发和应用简介_第2张图片

此二图片转自 https://blog.csdn.net/javayacare/article/details/84485264

 

二 体感应用简介

 

虚拟应用
    Kinect试衣镜,基于kinect体感技术的试衣镜,让客户能够高速的试穿衣服;就是不用脱衣服,可以快速看到一件件衣服穿在身上的效果;

3D建模
    3D摄像机, 用两个KINECT实现3D摄像机的基本效果;
    利用Kinect对人体进行3D建模,然后依据人体的3D信息,连接对应的塑模设备,塑造出人体塑像;

机械控制
    用Kinect 操控遥控直升机;
    Kinect Robo,使用Kinect作为机器人的头,通过kinect检測周围环境,并进行3D建模,来指导机器人的行动;

虚拟乐器
    空气吉他,通过Kinect手势操作虚拟吉他弹奏音乐;
    Kinect弹奏中国古代乐器,通过手势的改变能够演奏出不同中国古代乐器的声音;

计算机相关应用
    Kinect手势操作浏览器,通过Kinect手势对浏览器进行翻页,下拉,放缩等操作;
    Kinect体感控制看片,应用在手术室,手术者可通过体感控制查看患者的影像资料;因为戴手套的情况下不方便用鼠标和键盘操作电脑;

虚拟实验
    Kinect蜡笔物理,使用Kinect手势画图,通过体感控制所画图形,并使之具有物理特性,比方重力,吸引力等;

也可以将主持人与背景图合成,实现类似天气预报导播。

最常见的应用还是骨骼跟踪,手势识别,通过手势来进行一些操作,如ppt翻页这些;

这是以前做的项目;使用手势控制地图的平移、缩放、偏转;以及用手势选中来查看具体某一条输电线路;

这是当时顺手拍的;前景人和背景图合成;

体感(Kinect)技术开发和应用简介_第3张图片

这是Kinect的设置界面;包括返回的彩色图像,深度图像(右上角这个),仰角控制,波束和音源;

体感(Kinect)技术开发和应用简介_第4张图片

当时做的时候是Kinect 1.7版本;到3.0版本以后微软已停止了Kinect开发;大概用的人不是太多;这东西还是一个好东西;主要是没有懂行业应用的人去推广;

   

你可能感兴趣的:(.Net,图形学和3D,体感,Kinect,手势识别,骨骼跟踪,深度数据)