Kinect V2 开发专题（3）设备信息获取与音频功能探索
Kinect V2 开发专题（3）
1、Kinect设备信息获取
2、音频功能探索
1、Kinect设备信息获取
由于Kinect支持多台设备同连，所以，理论上，我们应该可以获取所有的设备信息，这里我们探索一下。
通过官方的AudioBasics-D2D这个Demo发现，获取Kinect设备只需要一步：
IKinectSensor* m_pKinectSensor; GetDefaultKinectSensor(&m_pKinectSensor);
我们在接口列表中（https://msdn.microsoft.com/en-us/library/dn791996.aspx）查找，发现一个叫做 IKinectSensorCollection 的类，很显眼的是关于Sensor收集的类，我们的脚步就从这里开始。
新建一个工程，按照第二节的内容，设置属性，加入头文件。好啦，我们开始：
额，不好意思！为什么呢？因为坑x的微软在去年八月份的时候把这个功能给Cut了，所以...你是不可能用的，将来可能还会加上。我们了解下就好了，下面我找了一份旧代码大家看看就可以了。
IKinectSensorCollection* pKinectCollection = nullptr;
IEnumKinectSensor* pEnumKinect = nullptr;
IKinectSensor* pKinect = nullptr;
// 获取Kinect集合
HRESULT hr = ::GetKinectSensorCollection(&pKinectCollection);
// 获取Kinect枚举器
if (SUCCEEDED(hr)){
hr = pKinectCollection->get_Enumerator(&pEnumKinect);
}
// 枚举Kinect
if (SUCCEEDED(hr)){
BOOLEAN available = false;
while (true){
// 获取下一个
if (SUCCEEDED(pEnumKinect->GetNext(&pKinect))){
// 判断有效性
pKinect->get_IsAvailable(&available);
if (available && YourJudgmentFunc(pKinect)){
break;
}
SafeRelease(pKinect);
}
else
break;
}
}
SafeRelease(pEnumKinect);
SafeRelease(pKinectCollection);
不要在意这些细节，这都是小事。我们可以通过 GetDefaultKinectSensor(_COM_Outptr_ IKinectSensor** defaultKinectSensor); 这个函数获取默认的Kinect设备，哈哈哈！
下面是一段测试的小程序：
#include "stdafx.h"
#include "kinect.h"
int _tmain(int argc, _TCHAR* argv[])
{
printf("Hello, Wellcome to kinect world!\n");
//IKinectSensorCollection aa;
IKinectSensor* bb;
HRESULT hr = GetDefaultKinectSensor(&bb);
if ( FAILED(hr) )
{
printf("No Kinect connect to your pc!\n");
goto endstop;
}
BOOLEAN bAvaliable = 0;
bb->get_IsAvailable(&bAvaliable);
printf("bAvaliable： %d\n", bAvaliable);
BOOLEAN bIsOpen = 0;
bb->get_IsOpen(&bIsOpen);
printf("bIsOpen： %d\n", bIsOpen);
DWORD dwCapability = 0;
bb->get_KinectCapabilities(&dwCapability);
printf("dwCapability： %d\n", dwCapability);
TCHAR bbuid[256] = { 0 };
bb->get_UniqueKinectId(256, bbuid);
printf("UID: %s\n",bbuid);
endstop:
system("pause");
return 0;
}
在没有插上Kinect时的结果：
这里很容易发现一个奇怪的问题，获取默认Kinect设备成功，但是这个设备是不可用的，什么信息都获取不到，看来 GetDefaultKinectSensor 很不靠谱啊，需要通过 isAvaliable 判断一下才能使用。
下面，我们插上Kinect设备继续测试：
晕啊，傻眼了，为什么会这样子呢？我调试啊调试，然后拿着SDK中的Demo调试，甚至加上了bb->Open()调试，还是那个样子。经多方折腾，最终发现了Kinect不得不说的秘密啊！
Kinect默认是关闭状态，你必须Open之后才能判断是否有效等等内容。但是呢，Kinect的Open是需要时间的，在我的电脑上需要3S左右，否则即便isOpen为1，但是avaliable可能还是0。
再继续研究Kinect的头文件发现，它使用了rpc技术，这样导致函数的状态的回复不可能像本地机器码跑得那么快，所以你需要一定的时间等待Kinect更新自身的状态！
新的代码如下：
#include "stdafx.h"
#include "kinect.h"
int _tmain(int argc, _TCHAR* argv[])
{
printf("Hello, Wellcome to kinect world!\n");
IKinectSensor* bb; //申请一个Sensor指针
HRESULT hr = GetDefaultKinectSensor(&bb); // 获取一个默认的Sensor
if ( FAILED(hr) )
{
printf("No Kinect connect to your pc!\n");
goto endstop;
}
BOOLEAN bIsOpen = 0;
bb->get_IsOpen(&bIsOpen); // 查看下是否已经打开
printf("bIsOpen： %d\n", bIsOpen);
if ( !bIsOpen ) // 没打开，则尝试打开
{
hr = bb->Open();
if ( FAILED(hr) )
{
printf("Kinect Open Failed!\n");
goto endstop;
}
printf("Kinect opened! But it need sometime to work!\n");
// 这里一定要多等会，否则下面的判断都是错误的
printf("Wait For 3000 ms...\n");
Sleep(3000);
}
bIsOpen = 0;
bb->get_IsOpen(&bIsOpen); // 是否已经打开
printf("bIsOpen： %d\n", bIsOpen);
BOOLEAN bAvaliable = 0;
bb->get_IsAvailable(&bAvaliable); // 是否可用
printf("bAvaliable： %d\n", bAvaliable);
DWORD dwCapability = 0;
bb->get_KinectCapabilities(&dwCapability); // 获取容量
printf("dwCapability： %d\n", dwCapability);
TCHAR bbuid[256] = { 0 };
bb->get_UniqueKinectId(256, bbuid); // 获取唯一ID
printf("UID: %s\n",bbuid);
bb->Close();
endstop:
system("pause");
return 0;
}
接上Kinect结果如下：
哈哈，圆满完成任务。只不过，实际情况应该轮询检查Kinect的状态，不应该使用Sleep()草草替代了。
2、Kinect音频功能探索
由于Kinect音频是一个麦克风矩阵，所以可以进行声音方向的探测，这个功能比较喜人。当然，你也可以使用它结合微软的语音识别引擎，进行语音识别和控制，这个是个比较大的专题，这里不做讨论。
我们先来进行声源的判断。接着上面的内容，通过GetDefaultKinectSensor 获取默认Kinect设备，然后Open，接着就可以通过它的成员函数 get_AudioSource 获取音频源，然后根据音频源的成员函数 get_AudioBeams 获取波束列表，然后 OpenAudioBeam 获取第一个波束，为什么是第一个呢？因为现在只支持第一个。最后波束beam的成员函数get_BeamAngle 获取角度，get_BeamAngleConfidence 获取对应的可信度。
#include "stdafx.h"
#include "kinect.h"
int _tmain(int argc, _TCHAR* argv[])
{
printf("Hello, Wellcome to kinect world!\n");
IKinectSensor* bb; //申请一个Sensor指针
HRESULT hr = GetDefaultKinectSensor(&bb); // 获取一个默认的Sensor
if ( FAILED(hr) )
{
printf("No Kinect connect to your pc!\n");
goto endstop;
}
BOOLEAN bIsOpen = 0;
bb->get_IsOpen(&bIsOpen); // 查看下是否已经打开
printf("bIsOpen： %d\n", bIsOpen);
if ( !bIsOpen ) // 没打开，则尝试打开
{
hr = bb->Open();
if ( FAILED(hr) )
{
printf("Kinect Open Failed!\n");
goto endstop;
}
printf("Kinect opened! But it need sometime to work!\n");
// 这里一定要多等会，否则下面的判断都是错误的
printf("Wait For 3000 ms...\n");
Sleep(3000);
}
bIsOpen = 0;
bb->get_IsOpen(&bIsOpen); // 是否已经打开
printf("bIsOpen： %d\n", bIsOpen);
BOOLEAN bAvaliable = 0;
bb->get_IsAvailable(&bAvaliable); // 是否可用
printf("bAvaliable： %d\n", bAvaliable);
DWORD dwCapability = 0;
bb->get_KinectCapabilities(&dwCapability); // 获取容量
printf("dwCapability： %d\n", dwCapability);
TCHAR bbuid[256] = { 0 };
bb->get_UniqueKinectId(256, bbuid); // 获取唯一ID
printf("UID: %s\n",bbuid);
// 音频数据获取
IAudioSource* audios = nullptr;
UINT nAudioCount = 0;
hr = bb->get_AudioSource(&audios);
if ( FAILED(hr) )
{
printf("Audio Source get failed!\n");
goto endclose;
}
IAudioBeam* audiobm = nullptr;
IAudioBeamList* audiobml = nullptr;
audios->get_AudioBeams(&audiobml);
audiobml->OpenAudioBeam(0, &audiobm); // 目前只支持第一个
float fAngle = 0.0f;
float fAngleConfidence = 0.0f;
while (true)
{
fAngle = 0.0f;
fAngleConfidence = 0.0f;
audiobm->get_BeamAngle(&fAngle); // 获取音频的角度，[ -0.872665f, 0.8726665f ]
audiobm->get_BeamAngleConfidence(&fAngleConfidence); // 获取音频的可信度（0 - 1）
printf("Angle: %3.2f (%1.2f)\n", (fAngle/3.1415926f)*180.0f, fAngleConfidence);
Sleep(200);
}
endclose:
bb->Close();
endstop:
system("pause");
return 0;
}
下面进行音频数据的获取。
我们可以用一般获取录音一样获取音频流，请注意，从这里获取的音频流是原始数据：麦克风列阵获取的多声道音频，并且没有利用麦克风列阵进行降噪处理。代码可以查看SDK自带的获取原始数据的例子，因为与通用设备打交道，很麻烦，这里不做说明。
这里说的是利用自带的方法，获取经处理的音频数据。经过处理的数据信息如下：
l 编码: 32位标准浮点(IEEE FLOAT)
l 声道: 1
l 采样率: 16000Hz
SDK中获取处理后的音频流有两种方法，一种是音频帧，和之前的各种帧差不多：
// 获取音频源(AudioSource)
if (SUCCEEDED(hr)){
hr = m_pKinect->get_AudioSource(&pAudioSource);
}
// 再获取音频帧读取器
if (SUCCEEDED(hr)){
hr = pAudioSource->OpenReader(&m_pAudioBeamFrameReader);
}
// 注册临帧事件
if (SUCCEEDED(hr)){
m_pAudioBeamFrameReader->SubscribeFrameArrived(&m_hAudioBeamFrameArrived);
}
这样初始化。使用后，像之前那样，根据事件获取 AudioBeamFrameArrivedEventArgs， 再获取 AudioBeamFrameReference 音频帧引用，再获取 AudioBeamFrameList 音频帧链表，目前链表只有一个元素，直接获取 AudioBeamFrame音频帧。音频帧可能包含复数 AudioBeamSubFrame 音频副帧(比如本人这里包含2个)，这个东西才能获取音频流的真正信息。
还有就是IStream，前面的这不是指C++标准库的输入流，而是COM组件的“流接口”，可读可写。初始化代码如下：
if (SUCCEEDED(hr))
{
hr = m_pKinectSensor->get_AudioSource(&pAudioSource);
}
if (SUCCEEDED(hr))
{
hr = pAudioSource->get_AudioBeams(&pAudioBeamList);
}
if (SUCCEEDED(hr))
{
hr = pAudioBeamList->OpenAudioBeam(0, &m_pAudioBeam);
}
if (SUCCEEDED(hr))
{
hr = m_pAudioBeam->OpenInputStream(&m_pAudioStream);
}
m_pAudioSteam就是Steam对象，使用时ISteam::Read(void*, ULONG, ULONG*)主动获取音频数据。相比而言，使用音频帧既可以主动获取，又能使用事件机制，而Stream只能主动获取。
我们这里使用第二种流的方式，编写一个Demo，代码如下:
#include "stdafx.h"
#include "kinect.h"
#define _USE_MATH_DEFINES
#include
int _tmain(int argc, _TCHAR* argv[])
{
printf("Hello, Wellcome to kinect world!\n");
IKinectSensor* bb; //申请一个Sensor指针
HRESULT hr = GetDefaultKinectSensor(&bb); // 获取一个默认的Sensor
if ( FAILED(hr) )
{
printf("No Kinect connect to your pc!\n");
goto endstop;
}
BOOLEAN bIsOpen = 0;
bb->get_IsOpen(&bIsOpen); // 查看下是否已经打开
printf("bIsOpen： %d\n", bIsOpen);
if ( !bIsOpen ) // 没打开，则尝试打开
{
hr = bb->Open();
if ( FAILED(hr) )
{
printf("Kinect Open Failed!\n");
goto endstop;
}
printf("Kinect opened! But it need sometime to work!\n");
// 这里一定要多等会，否则下面的判断都是错误的
printf("Wait For 3000 ms...\n");
Sleep(3000);
}
bIsOpen = 0;
bb->get_IsOpen(&bIsOpen); // 是否已经打开
printf("bIsOpen： %d\n", bIsOpen);
BOOLEAN bAvaliable = 0;
bb->get_IsAvailable(&bAvaliable); // 是否可用
printf("bAvaliable： %d\n", bAvaliable);
DWORD dwCapability = 0;
bb->get_KinectCapabilities(&dwCapability); // 获取容量
printf("dwCapability： %d\n", dwCapability);
TCHAR bbuid[256] = { 0 };
bb->get_UniqueKinectId(256, bbuid); // 获取唯一ID
printf("UID: %s\n",bbuid);
// 音频数据获取
IAudioSource* audios = nullptr;
UINT nAudioCount = 0;
hr = bb->get_AudioSource(&audios);
if ( FAILED(hr) )
{
printf("Audio Source get failed!\n");
goto endclose;
}
IAudioBeam* audiobm = nullptr;
IAudioBeamList* audiobml = nullptr;
audios->get_AudioBeams(&audiobml);
audiobml->OpenAudioBeam(0, &audiobm); // 目前只支持第一个
IStream* stm = nullptr;
audiobm->OpenInputStream(&stm);
audios->Release();
audiobm->Release();
float fAngle = 0.0f;
float fAngleConfidence = 0.0f;
ULONG lRead = 0;
const ULONG lBufferSize =3200;
float* fDataArr = new float[lBufferSize];
while (true)
{
fAngle = 0.0f;
fAngleConfidence = 0.0f;
audiobm->get_BeamAngle(&fAngle); // 获取音频的角度，[ -0.872665f, 0.8726665f ]
audiobm->get_BeamAngleConfidence(&fAngleConfidence); // 获取音频的可信度（0 - 1）
if ( fAngleConfidence > 0.5f )
printf("Angle: %3.2f (%1.2f)\n", (fAngle)*180.0f/static_cast(M_PI), fAngleConfidence);
// audio data
lRead = 0;
memset(fDataArr, 0, lBufferSize);
stm->Read(fDataArr, lBufferSize, &lRead);
if ( lRead > 0 )
{
printf("Audio Buffer: %d\n", lRead);
}
Sleep(200);
}
endclose:
bb->Close();
endstop:
system("pause");
return 0;
}
完毕