Kinect V2 开发专题(3)设备信息获取与音频功能探索



Kinect V2 开发专题(3

 

1、Kinect设备信息获取

2、音频功能探索

 

 

1Kinect设备信息获取

由于Kinect支持多台设备同连,所以,理论上,我们应该可以获取所有的设备信息,这里我们探索一下。

通过官方的AudioBasics-D2D这个Demo发现,获取Kinect设备只需要一步:

IKinectSensor* m_pKinectSensor;  GetDefaultKinectSensor(&m_pKinectSensor);

我们在接口列表中(https://msdn.microsoft.com/en-us/library/dn791996.aspx)查找,发现一个叫做 IKinectSensorCollection 的类,很显眼的是关于Sensor收集的类,我们的脚步就从这里开始。

新建一个工程,按照第二节的内容,设置属性,加入头文件。好啦,我们开始:

额,不好意思!为什么呢?因为坑x的微软在去年八月份的时候把这个功能给Cut了,所以...你是不可能用的,将来可能还会加上。我们了解下就好了,下面我找了一份旧代码大家看看就可以了。

    IKinectSensorCollection* pKinectCollection = nullptr;
    IEnumKinectSensor* pEnumKinect = nullptr;
    IKinectSensor* pKinect = nullptr;
    // 获取Kinect集合
    HRESULT hr = ::GetKinectSensorCollection(&pKinectCollection);
    // 获取Kinect枚举器
    if (SUCCEEDED(hr)){
        hr = pKinectCollection->get_Enumerator(&pEnumKinect);
    }
    // 枚举Kinect
    if (SUCCEEDED(hr)){
        BOOLEAN available = false;
        while (true){
            // 获取下一个
            if (SUCCEEDED(pEnumKinect->GetNext(&pKinect))){
                // 判断有效性
                pKinect->get_IsAvailable(&available);
                if (available && YourJudgmentFunc(pKinect)){
                    break;
                }
                SafeRelease(pKinect);
            }
            else
                break;
        }
    }
    SafeRelease(pEnumKinect);
    SafeRelease(pKinectCollection);


 

不要在意这些细节,这都是小事。我们可以通过 GetDefaultKinectSensor(_COM_Outptr_ IKinectSensor** defaultKinectSensor); 这个函数获取默认的Kinect设备,哈哈哈!

下面是一段测试的小程序:

#include "stdafx.h"
#include "kinect.h"

int _tmain(int argc, _TCHAR* argv[])
{
	printf("Hello, Wellcome to kinect world!\n");
	//IKinectSensorCollection aa;
	IKinectSensor* bb;
	HRESULT hr = GetDefaultKinectSensor(&bb);
	if ( FAILED(hr) )
	{
		printf("No Kinect connect to your pc!\n");
		goto endstop;
	}
	BOOLEAN bAvaliable = 0;
	bb->get_IsAvailable(&bAvaliable);
	printf("bAvaliable: %d\n", bAvaliable);
	BOOLEAN bIsOpen = 0;
	bb->get_IsOpen(&bIsOpen);
	printf("bIsOpen: %d\n", bIsOpen);
	DWORD dwCapability = 0; 
	bb->get_KinectCapabilities(&dwCapability);
	printf("dwCapability: %d\n", dwCapability);
	TCHAR bbuid[256] = { 0 };
	bb->get_UniqueKinectId(256, bbuid);
	printf("UID: %s\n",bbuid);


endstop:
	system("pause");
	return 0;
}


 

在没有插上Kinect时的结果:

 

 

这里很容易发现一个奇怪的问题,获取默认Kinect设备成功,但是这个设备是不可用的,什么信息都获取不到,看来 GetDefaultKinectSensor 很不靠谱啊,需要通过 isAvaliable 判断一下才能使用。

下面,我们插上Kinect设备继续测试:

 

晕啊,傻眼了,为什么会这样子呢?我调试啊调试,然后拿着SDK中的Demo调试,甚至加上了bb->Open()调试,还是那个样子。经多方折腾,最终发现了Kinect不得不说的秘密啊!

Kinect默认是关闭状态,你必须Open之后才能判断是否有效等等内容。但是呢,KinectOpen是需要时间的,在我的电脑上需要3S左右,否则即便isOpen1,但是avaliable可能还是0

再继续研究Kinect的头文件发现,它使用了rpc技术,这样导致函数的状态的回复不可能像本地机器码跑得那么快,所以你需要一定的时间等待Kinect更新自身的状态!

新的代码如下:

#include "stdafx.h"
#include "kinect.h"

int _tmain(int argc, _TCHAR* argv[])
{
	printf("Hello, Wellcome to kinect world!\n");
	IKinectSensor* bb; //申请一个Sensor指针
	HRESULT hr = GetDefaultKinectSensor(&bb); // 获取一个默认的Sensor
	if ( FAILED(hr) )
	{
		printf("No Kinect connect to your pc!\n");
		goto endstop;
	}
	BOOLEAN bIsOpen = 0;
	bb->get_IsOpen(&bIsOpen); // 查看下是否已经打开
	printf("bIsOpen: %d\n", bIsOpen);

	if ( !bIsOpen ) // 没打开,则尝试打开
	{
		hr = bb->Open();
		if ( FAILED(hr) )
		{
			printf("Kinect Open Failed!\n");
			goto endstop;
		}
		printf("Kinect opened! But it need sometime to work!\n");
		// 这里一定要多等会,否则下面的判断都是错误的
		printf("Wait For 3000 ms...\n");
		Sleep(3000);
	}
	bIsOpen = 0;
	bb->get_IsOpen(&bIsOpen); // 是否已经打开
	printf("bIsOpen: %d\n", bIsOpen);
	BOOLEAN bAvaliable = 0;
	bb->get_IsAvailable(&bAvaliable); // 是否可用
	printf("bAvaliable: %d\n", bAvaliable);

	DWORD dwCapability = 0; 
	bb->get_KinectCapabilities(&dwCapability); // 获取容量
	printf("dwCapability: %d\n", dwCapability);
	TCHAR bbuid[256] = { 0 };
	bb->get_UniqueKinectId(256, bbuid); // 获取唯一ID
	printf("UID: %s\n",bbuid);

	bb->Close();
endstop:
	system("pause");
	return 0;
}


 

接上Kinect结果如下:

Kinect V2 开发专题(3)设备信息获取与音频功能探索_第1张图片 

哈哈,圆满完成任务。只不过,实际情况应该轮询检查Kinect的状态,不应该使用Sleep()草草替代了。

 

2Kinect音频功能探索

由于Kinect音频是一个麦克风矩阵,所以可以进行声音方向的探测,这个功能比较喜人。当然,你也可以使用它结合微软的语音识别引擎,进行语音识别和控制,这个是个比较大的专题,这里不做讨论。

我们先来进行声源的判断。接着上面的内容,通过GetDefaultKinectSensor 获取默认Kinect设备,然后Open,接着就可以通过它的成员函数 get_AudioSource 获取音频源,然后根据音频源的成员函数 get_AudioBeams 获取波束列表,然后 OpenAudioBeam 获取第一个波束,为什么是第一个呢?因为现在只支持第一个。最后波束beam的成员函数get_BeamAngle 获取角度,get_BeamAngleConfidence 获取对应的可信度。

 

#include "stdafx.h"
#include "kinect.h"

int _tmain(int argc, _TCHAR* argv[])
{
	printf("Hello, Wellcome to kinect world!\n");
	IKinectSensor* bb; //申请一个Sensor指针
	HRESULT hr = GetDefaultKinectSensor(&bb); // 获取一个默认的Sensor
	if ( FAILED(hr) )
	{
		printf("No Kinect connect to your pc!\n");
		goto endstop;
	}
	BOOLEAN bIsOpen = 0;
	bb->get_IsOpen(&bIsOpen); // 查看下是否已经打开
	printf("bIsOpen: %d\n", bIsOpen);

	if ( !bIsOpen ) // 没打开,则尝试打开
	{
		hr = bb->Open();
		if ( FAILED(hr) )
		{
			printf("Kinect Open Failed!\n");
			goto endstop;
		}
		printf("Kinect opened! But it need sometime to work!\n");
		// 这里一定要多等会,否则下面的判断都是错误的
		printf("Wait For 3000 ms...\n");
		Sleep(3000);
	}
	bIsOpen = 0;
	bb->get_IsOpen(&bIsOpen); // 是否已经打开
	printf("bIsOpen: %d\n", bIsOpen);
	BOOLEAN bAvaliable = 0;
	bb->get_IsAvailable(&bAvaliable); // 是否可用
	printf("bAvaliable: %d\n", bAvaliable);

	DWORD dwCapability = 0; 
	bb->get_KinectCapabilities(&dwCapability); // 获取容量
	printf("dwCapability: %d\n", dwCapability);
	TCHAR bbuid[256] = { 0 };
	bb->get_UniqueKinectId(256, bbuid); // 获取唯一ID
	printf("UID: %s\n",bbuid);

	// 音频数据获取
	IAudioSource* audios = nullptr;
	UINT nAudioCount = 0;
	hr = bb->get_AudioSource(&audios);
	if ( FAILED(hr) )
	{
		printf("Audio Source get failed!\n");
		goto endclose;
	}
	IAudioBeam* audiobm = nullptr;
	IAudioBeamList* audiobml = nullptr;
	audios->get_AudioBeams(&audiobml);
	audiobml->OpenAudioBeam(0, &audiobm); // 目前只支持第一个

	float fAngle = 0.0f;
	float fAngleConfidence = 0.0f;
	while (true)
	{
		fAngle = 0.0f;
		fAngleConfidence = 0.0f;
		audiobm->get_BeamAngle(&fAngle); // 获取音频的角度,[ -0.872665f, 0.8726665f ]
		audiobm->get_BeamAngleConfidence(&fAngleConfidence); // 获取音频的可信度(0 - 1)
		printf("Angle: %3.2f (%1.2f)\n", (fAngle/3.1415926f)*180.0f, fAngleConfidence);
		Sleep(200);
	}

endclose:
	bb->Close();
endstop:
	system("pause");
	return 0;
}

 

下面进行音频数据的获取。

我们可以用一般获取录音一样获取音频流,请注意,从这里获取的音频流是原始数据:麦克风列阵获取的多声道音频,并且没有利用麦克风列阵进行降噪处理。代码可以查看SDK自带的获取原始数据的例子,因为与通用设备打交道,很麻烦,这里不做说明。

这里说的是利用自带的方法,获取经处理的音频数据。经过处理的数据信息如下:

l 编码:    32位标准浮点(IEEE FLOAT) 

l 声道:    1 

l 采样率: 16000Hz

 

SDK中获取处理后的音频流有两种方法,一种是音频帧,和之前的各种帧差不多:

    

// 获取音频源(AudioSource)  
    if (SUCCEEDED(hr)){  
        hr = m_pKinect->get_AudioSource(&pAudioSource);  
    }  
    // 再获取音频帧读取器  
    if (SUCCEEDED(hr)){  
        hr = pAudioSource->OpenReader(&m_pAudioBeamFrameReader);  
    }
    // 注册临帧事件  
    if (SUCCEEDED(hr)){  
        m_pAudioBeamFrameReader->SubscribeFrameArrived(&m_hAudioBeamFrameArrived);  
    }  

 

这样初始化。使用后,像之前那样,根据事件获取 AudioBeamFrameArrivedEventArgs, 再获取 AudioBeamFrameReference 音频帧引用,再获取 AudioBeamFrameList 音频帧链表,目前链表只有一个元素,直接获取 AudioBeamFrame音频帧。音频帧可能包含复数 AudioBeamSubFrame 音频副帧(比如本人这里包含2),这个东西才能获取音频流的真正信息。

还有就是IStream,前面的这不是指C++标准库的输入流,而是COM组件的“流接口”,可读可写。初始化代码如下:

   

 if (SUCCEEDED(hr))
    {
        hr = m_pKinectSensor->get_AudioSource(&pAudioSource);
    }
    if (SUCCEEDED(hr))
    {
        hr = pAudioSource->get_AudioBeams(&pAudioBeamList);
    }
    if (SUCCEEDED(hr))
    {
        hr = pAudioBeamList->OpenAudioBeam(0, &m_pAudioBeam);
    }
    if (SUCCEEDED(hr))
    {        
        hr = m_pAudioBeam->OpenInputStream(&m_pAudioStream);
    }

m_pAudioSteam就是Steam对象,使用时ISteam::Read(void*, ULONG, ULONG*)主动获取音频数据。相比而言,使用音频帧既可以主动获取,又能使用事件机制,而Stream只能主动获取。

 

我们这里使用第二种流的方式,编写一个Demo,代码如下:

#include "stdafx.h"
#include "kinect.h"
#define _USE_MATH_DEFINES
#include <math.h>

int _tmain(int argc, _TCHAR* argv[])
{
	printf("Hello, Wellcome to kinect world!\n");
	IKinectSensor* bb; //申请一个Sensor指针
	HRESULT hr = GetDefaultKinectSensor(&bb); // 获取一个默认的Sensor
	if ( FAILED(hr) )
	{
		printf("No Kinect connect to your pc!\n");
		goto endstop;
	}
	BOOLEAN bIsOpen = 0;
	bb->get_IsOpen(&bIsOpen); // 查看下是否已经打开
	printf("bIsOpen: %d\n", bIsOpen);

	if ( !bIsOpen ) // 没打开,则尝试打开
	{
		hr = bb->Open();
		if ( FAILED(hr) )
		{
			printf("Kinect Open Failed!\n");
			goto endstop;
		}
		printf("Kinect opened! But it need sometime to work!\n");
		// 这里一定要多等会,否则下面的判断都是错误的
		printf("Wait For 3000 ms...\n");
		Sleep(3000);
	}
	bIsOpen = 0;
	bb->get_IsOpen(&bIsOpen); // 是否已经打开
	printf("bIsOpen: %d\n", bIsOpen);
	BOOLEAN bAvaliable = 0;
	bb->get_IsAvailable(&bAvaliable); // 是否可用
	printf("bAvaliable: %d\n", bAvaliable);

	DWORD dwCapability = 0; 
	bb->get_KinectCapabilities(&dwCapability); // 获取容量
	printf("dwCapability: %d\n", dwCapability);
	TCHAR bbuid[256] = { 0 };
	bb->get_UniqueKinectId(256, bbuid); // 获取唯一ID
	printf("UID: %s\n",bbuid);

	// 音频数据获取
	IAudioSource* audios = nullptr;
	UINT nAudioCount = 0;
	hr = bb->get_AudioSource(&audios);
	if ( FAILED(hr) )
	{
		printf("Audio Source get failed!\n");
		goto endclose;
	}
	IAudioBeam* audiobm = nullptr;
	IAudioBeamList* audiobml = nullptr;
	audios->get_AudioBeams(&audiobml);
	audiobml->OpenAudioBeam(0, &audiobm); // 目前只支持第一个
	IStream* stm = nullptr;
	audiobm->OpenInputStream(&stm);
	audios->Release();
	audiobm->Release();

	float fAngle = 0.0f;
	float fAngleConfidence = 0.0f;
	ULONG lRead = 0;
	const ULONG lBufferSize =3200;
	float* fDataArr = new float[lBufferSize];
	while (true)
	{
		fAngle = 0.0f;
		fAngleConfidence = 0.0f;
		audiobm->get_BeamAngle(&fAngle); // 获取音频的角度,[ -0.872665f, 0.8726665f ]
		audiobm->get_BeamAngleConfidence(&fAngleConfidence); // 获取音频的可信度(0 - 1)
		if ( fAngleConfidence > 0.5f )
	 		printf("Angle: %3.2f (%1.2f)\n", (fAngle)*180.0f/static_cast<float>(M_PI), fAngleConfidence);
		// audio  data
		lRead = 0;
		memset(fDataArr, 0, lBufferSize);
		stm->Read(fDataArr, lBufferSize, &lRead);
		if ( lRead > 0 )
		{
			printf("Audio Buffer: %d\n", lRead);
		}
		Sleep(200);
	}

endclose:
	bb->Close();
endstop:
	system("pause");
	return 0;
}


完毕


 



你可能感兴趣的:(vc++,kinect,v2)