Kinect For Windows V2开发日志五：使用OpenCV显示彩色图像及红外图像

彩色图像

#include <iostream>
#include <Kinect.h>
#include <opencv2\highgui.hpp>

using   namespace   std;
using   namespace   cv;

int main(void)
{
    IKinectSensor   * mySensor = nullptr;           //第1步打开Sensor
    GetDefaultKinectSensor(&mySensor);
    mySensor->Open();

    IColorFrameSource   * mySource = nullptr;       //第2步获取Source
    mySensor->get_ColorFrameSource(&mySource);

    int     height = 0, width = 0;                  //取得宽和高等下用
    IFrameDescription   * myDescription = nullptr;
    mySource->get_FrameDescription(&myDescription);
    myDescription->get_Height(&height);
    myDescription->get_Width(&width);

    IColorFrameReader   * myReader = nullptr;       //第3步打开Reader
    mySource->OpenReader(&myReader);

    Mat img(height,width,CV_8UC4);
    IColorFrame     * myFrame = nullptr;
    while (1)
    {
        if (myReader->AcquireLatestFrame(&myFrame) == S_OK) //第4步获取Frame
        {
            UINT    size = 0;
            myFrame->CopyConvertedFrameDataToArray(width * height * 4,(BYTE *)img.data,ColorImageFormat_Bgra);
            imshow("TEST",img);
            myFrame->Release();
        }
        if (waitKey(30) == VK_ESCAPE)
            break;
    }
    myReader->Release();        //记得要释放
    myDescription->Release();
    mySource->Release();
    mySensor->Close();
    mySensor->Release();

    return  0;
}

详细解释：

读取彩色图像的步骤和读取深度图像的是一样的，区别在于数据输出的处理上。Kinect V2使用的图像格式是YUY2，不太好处理，好在彩色帧自带了一个转换函数CopyConvertedFrameDataToArray(),它的：

• 第一个参数是所需的大小
• 第二个参数是目标数组
• 第三个参数是要转换的格式，其中第三个参数的类型可以在这里找到。

第一个参数的大小为图像的长乘上宽再乘上4个通道。
因为我们要转成RGB,但是枚举量里带RGB的都还有一个A，这个A代表的是透明度，成了RGBA，所以开Mat时要开成四通道的（另外选8位而不选16位的原因我个人理解是，那个转换函数第二个参数要求类型是BYTE，而一个BYTE是8位的）。

令我费解的是，Rgba和Bgra只是通道的顺序不同，混合出来的效果应该是一样的，但是如果选用Rgba，显示出来的颜色就不正确。懂了以后更新。

红外图像

#include <iostream>
#include <Kinect.h>
#include <opencv2\highgui.hpp>

using   namespace   std;
using   namespace   cv;

int main(void)
{
    IKinectSensor   * mySensor = nullptr;               //第1步打开Sensor
    GetDefaultKinectSensor(&mySensor);
    mySensor->Open();

    IInfraredFrameSource    * mySource = nullptr;       //第2步获取Source
    mySensor->get_InfraredFrameSource(&mySource);

    int     height = 0, width = 0;                      //取得宽和高等下用
    IFrameDescription   * myDescription = nullptr;
    mySource->get_FrameDescription(&myDescription);
    myDescription->get_Height(&height);
    myDescription->get_Width(&width);

    IInfraredFrameReader    * myReader = nullptr;       //第3步打开Reader
    mySource->OpenReader(&myReader);

    Mat img(height,width,CV_16UC1);
    IInfraredFrame  * myFrame = nullptr;
    while (1)
    {
        if (myReader->AcquireLatestFrame(&myFrame) == S_OK) //第4步获取Frame
        {
            myFrame->CopyFrameDataToArray(height * width,(UINT16 *)img.data);
            imshow("TEST",img);
            myFrame->Release();
        }
        if (waitKey(30) == VK_ESCAPE)
            break;
    }
    myReader->Release();        //记得要释放
    myDescription->Release();
    mySource->Release();
    mySensor->Close();
    mySensor->Release();

    return  0;
}

详细解释

可见此段代码于上一段几乎一样，只是输出数据时换个函数就行了，Mat开16位是因为CopyFrameDataToArray()中第2个参数指定16位，因此这样的推论应该是正确的。