Kinect开发学习笔记之（六）带游戏者ID的深度数据的提取

Kinect开发学习笔记之（六）带游戏者ID的深度数据的提取

[email protected]

http://blog.csdn.net/zouxy09

 

我的Kinect开发平台是：

Win7x86 + VS2010 + Kinect for Windows SDK v1.6 + OpenCV2.3.0

开发环境的搭建见上一文：

http://blog.csdn.net/zouxy09/article/details/8146055

 

本学习笔记以下面的方式组织：编程前期分析、代码与注释和重要代码解析三部分。

 

要实现目标：通过微软的SDK提取带游戏者ID的深度数据并用OpenCV显示，不同用户，显示的颜色不同

 

一、编程前期分析

      我们在上一文中提到的是不带游戏者ID的深度数据的提取，具体见下面：

Kinect开发学习笔记之（五）不带游戏者ID的深度数据的提取

http://blog.csdn.net/zouxy09/article/details/8146719

       首先，Kinect传感器核心是发射红外结构光，并探测红外光反射，从而可以计算出视场范围内每一个像素的深度值。从深度数据中最先提取出来的是物体主体和形状，以及每一个像素点的游戏者索引信息。然后用这些形状信息来匹配人体的各个部分，最后计算匹配出来的各个关节在人体中的位置。而Kinect具有一次识别多达6个游戏者的能力，并能跟踪最多两个人的骨骼（对于XBOX360来说，就是可以同时两个人玩游戏了）。

      可能有点奇怪哦，这一个带游戏者ID，一个不带，还得那么严肃地给它单独开一文来学习。究竟啥来头啊。呵呵，实际上，既然微软提供了这种差别，那么它的存在肯定是有意义的，所谓存在即合理嘛。多个选择嘛。需要用到游戏者ID的时候就用，不需要的时候就不用费那么大劲。也不能说费劲，就是使用游戏者ID的时候，我们需要再做一些工作，去把不同游戏者的轮廓找出来，然后为了区别，标上不同的颜色，这就是本文想实现的。有点啰嗦了。

      上一文中，我们讲到，Kinect的深度图像数据有两种格式，一种是带游戏者ID的，一种是不带的。两种格式都是用两个字节来保存一个像素的深度值，而两方式的差别在于：

（1）唯一表示深度值：那么像素的低12位表示一个深度值，高4位未使用；

（2）既表示深度值又含有游戏者ID：Kinect为每一个追踪到的游戏者编号作为索引。而这个方式中，像素值的高13位保存了深度值，低三位保存用户序号，7 (0000 0111)这个位掩码能够帮助我们从深度数据中获取到游戏者索引值。

       要注意的是，不要对特定的游戏者索引位进行编码，因为他们是会变化的。实际的游戏者索引位并不总是和Kinect前面的游戏者编号一致。啥意思呢？例如，Kinect视野中只有一个游戏者，但是返回的游戏者索引位值可能是3或者4。也就是说有时候第一个游戏者的游戏者索引位可能不是1。还有，如果走进Kinect视野再走出去，然后再走进来，虽然你还是你，但是Kinect给你的索引ID可能就和原来的不一样了，例如之前返回的索引位是1，走出去后再次走进，可能索引位变为其他值了。所以开发Kinect应用程序的时候应该注意到这一点。

      说得有点乱哦，咱们还是看代码吧。

 

二、代码与注释

#include <windows.h>
#include <iostream> 
#include <NuiApi.h>
#include <opencv2/opencv.hpp>

using namespace std;
using namespace cv;

//处理深度数据的每一个像素，如果属于同一个用户的ID，那么像素就标为同种颜色，不同的用户，
//其ID不一样，颜色的标示也不一样，如果不属于某个用户的像素，那么就采用原来的深度值
RGBQUAD shortDepth2RGBquad( USHORT depthID )
{ 
	//每像素共16bit的信息，其中最低3位是ID（所捕捉到的人的ID），剩下的13位才是信息
    USHORT realDepth = (depthID & 0xfff8) >> 3; //提取距离信息，高13位 
    USHORT player =  depthID & 0x07 ;  //提取ID信息 ，低3位
 
    //因为提取的信息是距离信息，为了便于显示，这里归一化为0-255
    BYTE depth = 255 - (BYTE)(256*realDepth/0x0fff); 
 
    RGBQUAD q; 
    q.rgbRed = q.rgbBlue = q.rgbGreen = 0; 
 
    //RGB三个通道的值都是相等的话，就是灰度的
	//Kinect系统能够处理辨识传感器前多至6个人物的信息，但同一时刻最多只有2个玩家可被追踪（即骨骼跟踪）
	switch( player ) 
    { 
		case 0:  
			q.rgbRed = depth / 2; 
			q.rgbBlue = depth / 2; 
			q.rgbGreen = depth / 2; 
			break; 
		case 1: 
			q.rgbRed = depth; 
			break; 
		case 2: 
			q.rgbGreen = depth;  
			break; 
		case 3: 
			q.rgbRed = depth / 4; 
			q.rgbGreen = depth; 
			q.rgbBlue = depth; 
			break; 
		case 4: 
			q.rgbRed = depth; 
			q.rgbGreen = depth; 
			q.rgbBlue = depth / 4; 
			break; 
		case 5: 
			q.rgbRed = depth; 
			q.rgbGreen = depth / 4; 
			q.rgbBlue = depth; 
			break; 
		case 6: 
			q.rgbRed = depth / 2; 
			q.rgbGreen = depth / 2; 
			q.rgbBlue = depth; 
			break; 
		case 7: 
			q.rgbRed = 255 - ( depth / 2 ); 
			q.rgbGreen = 255 - ( depth / 2 ); 
			q.rgbBlue = 255 - ( depth / 2 ); 
		} 
 
    return q; 
}

int main(int argc, char *argv[])
{
	Mat image;
	image.create(240, 320, CV_8UC3); 
 
    //1、初始化NUI，注意这里是DEPTH_AND_PLAYER_INDEX
    HRESULT hr = NuiInitialize(NUI_INITIALIZE_FLAG_USES_DEPTH_AND_PLAYER_INDEX); 
    if (FAILED(hr)) 
    { 
        cout<<"NuiInitialize failed"<<endl; 
        return hr; 
    } 

    //2、定义事件句柄 
	//创建读取下一帧的信号事件句柄，控制KINECT是否可以开始读取下一帧数据
    HANDLE nextColorFrameEvent = CreateEvent( NULL, TRUE, FALSE, NULL );
    HANDLE depthStreamHandle = NULL; //保存图像数据流的句柄，用以提取数据 
 
    //3、打开KINECT设备的彩色图信息通道，并用depthStreamHandle保存该流的句柄，以便于以后读取
	hr = NuiImageStreamOpen(NUI_IMAGE_TYPE_DEPTH_AND_PLAYER_INDEX, NUI_IMAGE_RESOLUTION_320x240, 
							0, 2, nextColorFrameEvent, &depthStreamHandle); 
    if( FAILED( hr ) )//判断是否提取正确 
    { 
        cout<<"Could not open color image stream video"<<endl; 
        NuiShutdown(); 
        return hr; 
    }
	namedWindow("depthImage", CV_WINDOW_AUTOSIZE);
 
    //4、开始读取深度数据 
    while(1) 
    { 
        const NUI_IMAGE_FRAME * pImageFrame = NULL; 

		//4.1、无限等待新的数据，等到后返回
        if (WaitForSingleObject(nextColorFrameEvent, INFINITE)==0) 
        { 
			//4.2、从刚才打开数据流的流句柄中得到该帧数据，读取到的数据地址存于pImageFrame
            hr = NuiImageStreamGetNextFrame(depthStreamHandle, 0, &pImageFrame); 
			if (FAILED(hr))
			{
				cout<<"Could not get depth image"<<endl; 
				NuiShutdown();
				return -1;
			}

			INuiFrameTexture * pTexture = pImageFrame->pFrameTexture;
			NUI_LOCKED_RECT LockedRect;

			//4.3、提取数据帧到LockedRect，它包括两个数据对象：pitch每行字节数，pBits第一个字节地址
			//并锁定数据，这样当我们读数据的时候，kinect就不会去修改它
            pTexture->LockRect(0, &LockedRect, NULL, 0); 
			//4.4、确认获得的数据是否有效
            if( LockedRect.Pitch != 0 ) 
            { 
				//4.5、将数据转换为OpenCV的Mat格式
				for (int i=0; i<image.rows; i++) 
                {
					uchar *ptr = image.ptr<uchar>(i);  //第i行的指针
					
					//其二是既表示深度值又含有人物序号，则像素值的高13位保存了深度值，低三位保存用户序号，
					//注意这里需要转换，因为每个数据是2个字节，存储的同上面的颜色信息不一样，
                    uchar *pBufferRun = (uchar*)(LockedRect.pBits) + i * LockedRect.Pitch;
					USHORT * pBuffer = (USHORT*) pBufferRun;
					 
                    for (int j=0; j<image.cols; j++) 
                    {
						//对于每一个像素，我们通过它的深度数据去修改它的RGB值；
						RGBQUAD rgb = shortDepth2RGBquad(pBuffer[j]);
                        ptr[3*j] = rgb.rgbBlue; 
                        ptr[3*j+1] = rgb.rgbGreen; 
                        ptr[3*j+2] = rgb.rgbRed; 
                    } 
				} 
                imshow("depthImage", image); //显示图像 
            } 
            else 
            { 
                cout<<"Buffer length of received texture is bogus\r\n"<<endl; 
            }

			//5、这帧已经处理完了，所以将其解锁
			pTexture->UnlockRect(0);
            //6、释放本帧数据，准备迎接下一帧 
            NuiImageStreamReleaseFrame(depthStreamHandle, pImageFrame ); 
        } 
        if (cvWaitKey(20) == 27) 
            break; 
    } 
    //7、关闭NUI链接 
    NuiShutdown(); 
	return 0;
}

三、代码解析

       首先，这里基本上和上一文说的深度数据的获取的流程和API都是一样的，具体的话，参考上一文。只是有几个点需要说明下：

（1）初始化和打开深度数据流的时候传入的参数是不同的，这个需要注意下，我们需要的是DEPTH_AND_PLAYER_INDEX数据；

（2）每个像素的深度数据由两个字节来保存，高13位保存了深度值，低三位保存用户序号。

（3）具体显示的时候我们是这样处理的：

       对于每一个像素，我们通过它的深度数据去修改它的RGB值，如果属于同一个用户的ID，那么像素就标为同种颜色，不同的用户，其ID不一样，颜色的标示也不一样，如果不属于某个用户的像素，那么就采用原来的深度值。

首先，这里涉及到了：

USHORTrealDepth = (depthID & 0xfff8) >> 3; //提取距离信息，高13位

USHORTplayer =  depthID & 0x07 ;  //提取ID信息，低3位

然后RGBQUAD是一个结构体，其保存一个像素点的RGB值，定义如下：

typedef struct tagRGBQUAD {

 BYTE    rgbBlue;

 BYTE    rgbGreen;

 BYTE    rgbRed;

 BYTE    rgbReserved;

} RGBQUAD;

 

      至此，目标达成。

     下面是结果，感觉似乎如果两个人靠得太近的话，也会被识别为同一个用户，标示同样的颜色，这点感觉有点不太稳定，这种情况应该挺容易避免的啊，是我高估了Kinect，还是我高估了我。