Kinect+OpenNI学习笔记之5(使用OpenNI自带的类进行简单手势识别)

　　

　　前言

　　因为OpenNI可以获取到kinect的深度信息，而深度信息在手势识别中有很大用处，因此本文就来使用OpenNI自带的类来做简单的手势识别。识别的动作为4种，挥手，手移动，举手，往前推手。通过后面的实验可以发现，其实提供的类的效果非常不好。

　　开发环境：QtCreator2.5.1+OpenNI1.5.4.0+Qt4.8.2+OpenCV2.4.2

 

　　实验说明

　　跟手势相关的是GestureGenerator这个类，它的初始化过程和depth_metadata，image_metadata都一样，因此首先在上2篇文章的COpenNI类中增加一个public类对象GestureGenerator gesture_generator;为什么不放在private里呢？因为我们的COpenNI对象需要调用这个变量来设置手势获取的一些属性，比如手势识别的种类等，总之就是这个变量外部需要能够访问得到，因此这里我将其放在public里面。另外在COpenNI类的Init()函数中需要加入下面的代码：

status = gesture_generator.Create(context);

        if(CheckError("Create gesture generator error!")) {

            return false;

        }

        /*添加手势识别的种类*/

        gesture_generator.AddGesture("Wave", NULL);

        gesture_generator.AddGesture("click", NULL);

        gesture_generator.AddGesture("RaiseHand", NULL);

        gesture_generator.AddGesture("MovingHand", NULL);

　　OpenNI进行手势识别的方式是采用函数回调，即如果一个手势发生了或者正在发生时可以触发相应的回调函数，从而去执行回调函数，这有点类似于Qt中的信号与槽的关系。在OpenNI中设置回调函数的原型为：

　　XnStatus RegisterGestureCallbacks(GestureRecognized RecognizedCB, GestureProgress ProgressCB, void* pCookie, XnCallbackHandle& hCallback);

　　其中前2个参数为回调函数，第一个回调函数表示手部某个动作已经执行完毕，第二个参数表示收部某个动作正在执行；参数三为一个空指针，即可以指向任何数据类型的指针，其作用为给回调函数当额外的参数使用；参数四为回调函数的处理函数，用来记录和管理回调函数的。参数三在本实验中设置为NULL，参数四实际上本实验中也没有用到。

上面2个回调函数的名称可以自定义，但是这2个函数参数的个数和类型不能改变，这2个回调函数的参数个数都为5，但是其类型有些不同，具体的可以参考后面提供的代码。

　　由于在程序中添加了4种动作的捕捉，所以打算在检测到某个手势动作时，在窗口显示栏的图片上添加相应的手势动作文字提示。很明显，只有当手势检测到时才能在图片上添加文字，该部分在回调函数中实现。但是如果我们单独在回调函数中给图片添加相应的文字，然后在主程序中显示图片，则因为回调函数一结束完就回到了主函数的while循环中，而这时图片的内容已经更新了（即有文字的图片被重新覆盖了），因此人眼一瞬间看不到有文字提示的图片。最后个人的解决方法是用一个标志来表示检测到了某个手势动作，如果检测到了则显示存储下来的有文字的图片，反正，显示正常的图片。本程序提供的图片为深度图。

 

 

　　实验结果

　　举手的显示结果如下：

　　

 　　其实从本人的实验过程来看，大部分的手势动作都被检测为举手RaiseHand，少部分为挥手Wave，其它的基本上没出现过。说明OpenNI自带的手势识别类的功能不是很强。

 

 

　　实验主要部分代码及注释（附录有实验工程code下载链接）：

copenni.cpp:

#include <XnCppWrapper.h>
#include <QtGui/QtGui>
#include <iostream>

using namespace xn;
using namespace std;

class COpenNI
{
public:
    ~COpenNI() {
        context.Release();//释放空间
    }
    bool Initial() {
        //初始化
        status = context.Init();
        if(CheckError("Context initial failed!")) {
            return false;
        }
        context.SetGlobalMirror(true);//设置镜像
        //产生图片node
        status = image_generator.Create(context);
        if(CheckError("Create image generator  error!")) {
            return false;
        }
        //产生深度node
        status = depth_generator.Create(context);
        if(CheckError("Create depth generator  error!")) {
            return false;
        }
        //视角校正
        status = depth_generator.GetAlternativeViewPointCap().SetViewPoint(image_generator);
        if(CheckError("Can't set the alternative view point on depth generator!")) {
            return false;
        }
        status = gesture_generator.Create(context);
        if(CheckError("Create gesture generator error!")) {
            return false;
        }
        /*添加手势识别的种类*/
        gesture_generator.AddGesture("Wave", NULL);
        gesture_generator.AddGesture("click", NULL);
        gesture_generator.AddGesture("RaiseHand", NULL);
        gesture_generator.AddGesture("MovingHand", NULL);
        return true;

    }

    bool Start() {
        status = context.StartGeneratingAll();
        if(CheckError("Start generating error!")) {
            return false;
        }
        return true;
    }

    bool UpdateData() {
        status = context.WaitNoneUpdateAll();
        if(CheckError("Update date error!")) {
            return false;
        }
        //获取数据
        image_generator.GetMetaData(image_metadata);
        depth_generator.GetMetaData(depth_metadata);

        return true;
    }

public:
    DepthMetaData depth_metadata;
    ImageMetaData image_metadata;
    GestureGenerator gesture_generator;//外部要对其进行回调函数的设置，因此将它设为public类型

private:
    //该函数返回真代表出现了错误，返回假代表正确
    bool CheckError(const char* error) {
        if(status != XN_STATUS_OK ) {
            QMessageBox::critical(NULL, error, xnGetStatusString(status));
            cerr << error << ": " << xnGetStatusString( status ) << endl;
            return true;
        }
        return false;
    }

private:
    XnStatus    status;
    Context     context;
    DepthGenerator  depth_generator;
    ImageGenerator  image_generator;
};

 

main.cpp:

#include <QCoreApplication>

#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <opencv2/core/core.hpp>
#include "copenni.cpp"

#include <iostream>

using namespace cv;
using namespace xn;

Mat depth_image;
Mat depth_image_result;//深度结果图，且在该图上显示手势动作的类型
COpenNI openni;
bool test_flag = false;

// callback function for gesture recognized
//回调函数，该函数的函数名字可以随便取，但是其参数的格式必须不能改变
//这里该函数的作用是表示上面4种手势发生完成后调用
void  XN_CALLBACK_TYPE  GRecognized ( xn::GestureGenerator &generator,
                                    const XnChar *strGesture,
                                    const  XnPoint3D *pIDPosition,
                                    const  XnPoint3D *pEndPosition,
                                    void *pCookie )
{
    depth_image_result = depth_image.clone();
    putText(depth_image_result, strGesture, Point(50, 150), 3, 0.8, Scalar(255, 0, 0), 2 );
    test_flag = true;
}

// callback function for gesture progress
//该函数表示上面4种手势某一种正在发生时调用
void  XN_CALLBACK_TYPE  GProgress ( xn::GestureGenerator &generator,
                                  const XnChar *strGesture,
                                  const  XnPoint3D *pPosition,
                                 XnFloat fProgress,
                                 void *pCookie )
{
    ;
}

int main (int argc, char **argv)
{

    if(!openni.Initial())
        return 1;
    XnCallbackHandle handle;
    openni.gesture_generator.RegisterGestureCallbacks(GRecognized, GProgress, NULL, handle);
    if(!openni.Start())
        return 1;
    namedWindow("depth image", CV_WINDOW_AUTOSIZE);
    putText(depth_image, "YES!", Point(50, 150), 3, 0.8, Scalar(255, 0, 0), 2 );
    while(1) {
        if(!openni.UpdateData()) {
            return 1;
        }
        /*获取并显示深度图像,且这2句代码不能放在回调函数中调用，否则后面的imshow函数会因为执行时找不到图片（因为此时回调函数不一定执行了）而报错*/
        Mat depth_image_src(openni.depth_metadata.YRes(), openni.depth_metadata.XRes(),
                            CV_16UC1, (char *)openni.depth_metadata.Data());//因为kinect获取到的深度图像实际上是无符号的16位数据
        depth_image_src.convertTo(depth_image, CV_8U, 255.0/8000);

        if(!test_flag)
            imshow("depth image", depth_image);
        else
            imshow("depth image", depth_image_result);
        waitKey(30);
        test_flag = false;
    }

}

 

 

　　错误总结

　　如果用Qt的控制台建立程序,运行程序时出现下面的错误提示:

　　

　　这是因为控制台程序不能使用Qt的界面(本程序中使用了QMessageBox)，因此需要在工程pro的代码中把QT –  gui给去掉，否则会报类似的这种错误。

　　如果是在OpenCV中出现如下错误：

　　

　　则表示是imshow函数需要还来不及显示完成就被其它的函数给中断了，这可能在回调函数中出现这种情况。

 

　　

　　实验总结

　　通过本次实验对OpenNI自带的手势识别类的使用有了初步的了解。

 

 

　　参考资料：

    OpenNI 的手势侦测

 

 

　　附录：实验工程code下载。