DirectShow摄像头采集

  手头有个项目需要实现通过采集卡采集手机桌面，获取ROI区域图像，进而进行视频自动化评测。opencv采集性能太低，不满足60fps的要求，查了资料，据说DirectShow可以达到100+frame 的采集速率。同时由于中间图像处理需要用到opencv，自然希望通过directShow＋opencv直接采集为IplImage格式数据，是最完美的。

  终于在opencv官方论坛找到了yushiqi老师的CameraDS类。就需要两个文件（CameraDS.cpp和h）＋ DirectShow SDK。当然不必下载庞大的DS SDK，网上有很多lib＋inc的SDK。据说只能用DirectShow 9b和之前的SDK。到目前，一切都非常顺利，采集手机桌面数据预览和帧率都满足我的要求。当是，开始进行有源SSIM打分时，发现经常只有2.0甚至更低MOS分。初始，我怀疑可能是采集卡或者通话引擎或者我代码数据处理的问题。排查了一圈，且通过对比AMCap程序，发现AMcap采集是完好的。失望的发现，这种方式采集下来的原始图像就是有问题的。现象是：采集几十帧就会概率出现一帧错误图像，对运动区块某帧会出现横条纹。网上某个论坛里，我也看到有人询问同样的问题，但是没有得到解决答案，而且我1080p／720p都会出现。

  到此有些无助了，只有硬着头皮去研究一下DirectShow SDK采集和SampleGrabber了。也下载了AMCap源码，毕竟它没有出现我这种问题。了解到：DSSampleGrabber有两种采集模式－－缓冲和回调。AMCap中保存文件使用的是另一个filter graph直接保存文件，而CameraDS中用的正是缓冲模式。到此，眼前一亮，要不要换作回调采集模式试试。又查了下资料，发现CCapturVideo类中用的就是回调模式。赶紧拿过来，测试了一下，没有出现遇到的问题。哈哈。问题解决了。

总结：

初步怀疑CCameraDS封装的帧采集缓冲模式有bug，用回调模式可以解决。但是回调函数中好像不能做UI处理，会卡住，如ShowImage。最好回调中仅仅用来保存帧数据。CCaptureVideo和窗口显示耦合太高了，使用时，可以在CameraDS基础上合入CCaptrue中回调模式和功能。

但是缓冲模式为啥不行暂时还没有弄清楚原因，带后续研究后再补充。

补充：

缓冲模式捕获单帧过程：run->wait->getcur->getcur。开始以为是接口流程问题取数据太快了，再wait后pause，默认帧率时有改善，高帧率还是会出现错帧。看来这样无法根本解决缓冲模式采集的问题。

设置帧率：

接口：setformat。从获取结果来看，不设置帧率时，获取到的默认帧率，应该是建议稳定运行的高帧率。我T220E，1080p ／60fps采集卡，默认获取帧率是52帧（19ms）。但是，很奇怪的发现：对缓冲模式，设置更高帧率没用，设置比默认帧率还高时（如60fps），相反还导致实际帧率下降了。回调模式设置帧率是有效的，不过要控制好回调函数不要阻塞过长，否则达不到设置帧率。

参考SampleGrabber回调源码：

回调参数mCB是class CSampleGrabberCB : public ISampleGrabberCB，需要重写几个虚函数。实际可以再另增加一个纯虚基类，并作为CCapture控制回调函数的一个参数的方式来使用。这样可以隐藏CSampleGrabberCB的实现，而是作为CCapture的一个friend class成员。用户使用时，通过重写这个虚基类的虚函数可实现回调。

／／采集视频帧，回调模式

 hr = m_pGrabber->SetBufferSamples( FALSE )；
 hr = m_pGrabber->SetOneShot( FALSE );
 hr = m_pGrabber->SetCallback( &mCB, 1 );

 hr = m_pMC->Run();//开始视频捕捉

还可参考：

1 directshow抓取摄像头数据的封装类：http://blog.chinaunix.net/uid-8272118-id-2033249.html

2 CCapture directshow 视频捕获类：http://www.cnblogs.com/lidabo/p/3701654.html

3 USB摄像头采集图像(DirectShow)：http://blog.csdn.net/jinxinliu1/article/details/7682009

4 关于CCaptureVideo类bug以及修改方法：http://blog.chinaunix.net/uid-8272118-id-2033245.html

   DirectShow 修改CCaptureVideo类，使其支持多次打开：http://blog.csdn.net/aidy22/article/details/5008754