Direcshow中视频捕捉和参数设置报告

1.      关于视频捕捉(About Video Capture in Dshow

1视频捕捉Graph的构建

一个能够捕捉音频或者视频的graph图都称之为捕捉graph图。捕捉graph图比一般的文件回放graph图要复杂许多,dshow提供了一个Capture Graph Builder COM组件使得捕捉graph图的生成更加简单。Capture Graph Builder提供了一个ICaptureGraphBuilder2接口,这个接口提供了一些方法用来构建和控制捕捉graph

首先创建一个Capture Graph Builder对象和一个graph manger对象,然后用filter graph manager 作参数,调用ICaptureGraphBuilder2::SetFiltergraph来初始化Capture Graph Builder。看下面的代码把

HRESULT InitCaptureGraphBuilder(

IGraphBuilder **ppGraph, // Receives the pointer.

ICaptureGraphBuilder2 **ppBuild // Receives the pointer.

)

{

if (!ppGraph || !ppBuild)

{

return E_POINTER;

}

IGraphBuilder *pGraph = NULL;

ICaptureGraphBuilder2 *pBuild = NULL;

 // Create the Capture Graph Builder.

 HRESULT hr = CoCreateInstance(CLSID_CaptureGraphBuilder2, NULL,

 CLSCTX_INPROC_SERVER, IID_ICaptureGraphBuilder2, (void**)&pGraph);

 if (SUCCEEDED(hr))

 {

 // Create the Filter Graph Manager.

 hr = CoCreateInstance(CLSID_FilterGraph, 0, CLSCTX_INPROC_SERVER,

 IID_IGraphBuilder, (void**)&pGraph);

 if (SUCCEEDED(hr))

 {

 // Initialize the Capture Graph Builder.

 pBuild->SetFiltergraph(pGraph);

 // Return both interface pointers to the caller.

 *ppBuild = pBuild;

 *ppGraph = pGraph; // The caller must release both interfaces.

 return S_OK;

 }

 Else

 {

pBuild->Release();

}

}

 return hr; // Failed

}

2.      Direcshow中视频捕捉的Filter

Pin的种类

捕捉Filter一般都有两个或多个输出pin,他们输出的媒体类型都一样,比如预览pin和捕捉pin,因此根据媒体类型就不能很好的区别这些pin。此时就要根据pin的功能来区别每个pin了,每个pin都有一个GUID,称为pin的种类。

如果想仔细的了解pin的种类,请看后面的相关内容Working with Pin Categories。对于大多数的应用来说,ICaptureGraphBuilder2提供了一些函数可以自动确定pin的种类。
预览pin和捕捉pin

视频捕捉Filter都提供了预览和捕捉的输出pin,预览pin用来将视频流在屏幕上显示,捕捉pin用来将视频流写入文件。

预览pin和输出pin有下面的区别:

1 为了保证捕捉pin对视频桢流量,预览pin必要的时候可以停止。

2 经过捕捉pin的视频桢都有时间戳,但是预览pin的视频流没有时间戳。

预览pin的视频流之所以没有时间戳的原因在于filter图表管理器在视频流里加一个很小的latency,如果捕捉时间被认为就是render时间的话,视频renderFilter就认为视频流有一个小小的延迟,如果此时render filter试图连续播放的时候,就会丢桢。去掉时间戳就保证了视频桢来了就可以播放,不用等待,也不丢桢。

Video Port pin

Video Port是一个介于视频设备(TV)和视频卡之间的硬件设备。同过Video Port,视频数据可以直接发送到图像卡上,通过硬件的覆盖,视频可以直接在屏幕显示出来。Video Port就是连接两个设备的。
使用Video Port的最大好处是,不用CPU的任何工作,视频流直接写入内存中。如果捕捉设备使用了Video Port,捕捉Filter就用一个video port pin代替预览pin

预览pin的种类GUIDPIN_CATEGORY_PREVIEW

捕捉pin的种类GUIDPIN_CATEGORY_CAPTURE

video port pin的种类GUIDPIN_CATEGORY_VIDEOPORT

一个捕捉filter至少有一个Capture pin,另外,它可能有一个预览pin 和一个video port pin
,或者两者都没有,也许filter有很多的capture pin,和预览pin,每一个pin都代表一种媒体类型,因此一个filter可以有一个视频capture pin,视频预览pin,音频捕捉pin,音频预览pin

3.      预览视频(Previewing Video

为了创建可以预览视频的graph,可以调用下面的代码

ICaptureGraphBuilder2 *pBuild; // Capture Graph Builder

// Initialize pBuild (not shown).

IBaseFilter *pCap; // Video capture filter.

 /* Initialize pCap and add it to the filter graph (not shown). */

hr = pBuild->RenderStream(&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video,   pCap, NULL, NULL);

 

4.      如何捕捉视频流并保存到文件(Capture video to File

1)         将视频流保存到AVI文件

下面的图表显示了graph

 

2

AVI Mux filter接收从capture pin过来的视频流,然后将其打包成AVI流。音频流也可以连接到AVI Mux Filter上,这样mux filter就将视频流和视频流合成AVI流。File writerAVI流写入到文件中。

可以像下面这样构建graph

IBaseFilter *pMux;

hr = pBuild->SetOutputFileName(

 &MEDIASUBTYPE_Avi, // Specifies AVI for the target file.

 L"C:""Example.avi", // File name.

 &pMux, // Receives a pointer to the mux.

 NULL); // (Optional) Receives a pointer to the file sink.

第一个参数表明文件的类型,这里表明是AVI,第二个参数是制定文件的名称。对于AVI文件,SetOutputFileName函数会创建一个AVI mux Filter 和一个 File writer Filter ,并且将两个filter添加到graph图中,在这个函数中,通过File Writer Filter 请求IFileSinkFilter接口,然后调用IFileSinkFilter::SetFileName方法,设置文件的名称。然后将两个filter连接起来。第三个参数返回一个指向 AVI Mux的指针,同时,它也通过第四个参数返回一个IFileSinkFilter参数,如果你不需要这个参数,你可以将这个参数设置成NULL

然后,你应该调用下面的函数将capture filter AVI Mux连接起来。

hr = pBuild->RenderStream(

 &PIN_CATEGORY_CAPTURE, // Pin category.

 &MEDIATYPE_Video, // Media type.

 pCap, // Capture filter.

 NULL, // Intermediate filter (optional).

 pMux); // Mux or file sink filter.

 // Release the mux filter.

  pMux->Release();

5个参数就是使用的上面函数返回的pMux指针。

当捕捉音频的时候,媒体类型要设置为MEDIATYPE_Audio,如果你从两个不同的设备捕捉视频和音频,你最好将音频设置成主流,这样可以防止两个数据流间drift,因为avi mux filter为同步音频,会调整视频的播放速度的。为了设置master 流,调用IConfigAviMux::SetMasterStream方法,可以采用如下的代码:

IConfigAviMux *pConfigMux = NULL;

 hr = pMux->QueryInterface(IID_IConfigAviMux, (void**)&pConfigMux);

 if (SUCCEEDED(hr))

 {

 pConfigMux->SetMasterStream(1);

 pConfigMux->Release();

 }

SetMasterStream的参数指的是数据流的数目,这个是由调用RenderStream的次序决定的。例如,如果你调用RenderStream首先用于视频流,然后是音频,那么视频流就是0,音频流就是1

添加编码filter

 IBaseFilter *pEncoder; /* Create the encoder filter (not shown). */

 // Add it to the filter graph.

 pGraph->AddFilter(pEncoder, L"Encoder);

/* Call SetOutputFileName as shown previously. */

// Render the stream.

hr = pBuild->RenderStream(

&PIN_CATEGORY_CAPTURE,

 &MEDIATYPE_Video,

pCap, pEncoder, pMux);

  pEncoder->Release();

2)         将视频流保存成wmv格式的文件

为了将视频流保存成并编码成windows media video WMV)格式的文件,将capture pin连到WM ASF Writer filter

 

3

构建graph图最简单的方法就是将在ICaptureGraphBuilder2::SetOutputFileName方法中指定MEDIASUBTYPE_Asffilter。如下

 IBaseFilter* pASFWriter = 0;

 hr = pBuild->SetOutputFileName(

 &MEDIASUBTYPE_Asf, // Create a Windows Media file.

 L"C:""VidCap.wmv", // File name.

 &pASFWriter, // Receives a pointer to the filter.

 NULL); // Receives an IFileSinkFilter interface pointer (optional).

参数MEDIASUBTYPE_Asf 告诉graph builder,要使用wm asf writer作为文件接收器,于是,pbuild 就创建这个filter,将其添加到graph图中,然后调用IFileSinkFilter::SetFileName来设置输出文件的名字。第三个参数用来返回一个ASF writer指针,第四个参数用来返回文件的指针。

在将任何pin连接到WM ASF Writer之前,一定要对WM ASF Writer进行一下设置,你可以同过WM ASF WriterIConfigAsfWriter接口指针来进行设置。

 IConfigAsfWriter *pConfig = 0;

 hr = pASFWriter->QueryInterface(IID_IConfigAsfWriter, (void**)&pConfig);

 if (SUCCEEDED(hr))

 {

 // Configure the ASF Writer filter.

 pConfig->Release();

 }

然后调用ICaptureGraphBuilder2::RenderStreamcapture Filter ASF writer连接起来。

 hr = pBuild->RenderStream(

 &PIN_CATEGORY_CAPTURE, // Capture pin.

 &MEDIATYPE_Video, // Video. Use MEDIATYPE_Audio for audio.

 pCap, // Pointer to the capture filter.

 0,

 pASFWriter); // Pointer to the sink filter (ASF Writer).

3)         保存成自定义的文件格式

如果你想将文件保存成自己的格式,你必须有自己的 file writer。看下面的代码

 IBaseFilter *pMux = 0;

 IFileSinkFilter *pSink = 0;

 hr = pBuild->SetOutputFileName(

 &CLSID_MyCustomMuxFilter, //自己开发的Filter

 L"C:""VidCap.avi", &pMux, &pSink);

4)         如何将视频流保存进多个文件

当你将视频流保存进一个文件后,如果你想开始保存第二个文件,这时,你应该首先将graph停止,然后通过IFileSinkFilter::SetFileName改变 File Writer 的文件名称。注意,IFileSinkFilter指针你可以在SetOutputFileName时通过第四个参数返回的。

看看保存多个文件的代码吧

 IBaseFilter *pMux;同步的synchronization

 IFileSinkFilter *pSink

 hr = pBuild->SetOutputFileName(&MEDIASUBTYPE_Avi, L"C:""YourFileName.avi",

 &pMux, &pSink);

 if (SUCCEEDED(hr))

 {

 hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, &MEDIATYPE_Video,   pCap, NULL, pMux);

 if (SUCCEEDED(hr))

 {

 pControl->Run();

 /* Wait awhile, then stop the graph. */

 pControl->Stop();

 // Change the file name and run the graph again.

 pSink->SetFileName(L"YourFileName02.avi", 0);

 pControl->Run();

 }

 pMux->Release();

 pSink->Release();

}

5)         组合视频的捕捉和预览

如果想组建一个既可以预览视频,又可以将视频保存成文件的graph,只需要两次调用ICaptureGraphBuilder2::RenderStream即可。代码如下:

 // Render the preview stream to the video renderer.
 hr = pBuild->RenderStream(&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video,   pCap, NULL, NULL);

// Render the capture stream to the mux.

hr = pBuild->RenderStream(&PIN_CATEGORY_CAPTURE, &MEDIATYPE_Video,   pCap, NULL, pMux);

在上面的代码中,graph builder 其实隐藏了下面的细节。

1 如果capture Filter既有preview pin 也有captrue pin,那么RenderStream仅仅将两个pinrender filter接起来。如下图

 

4

2如果caprture Filter只有一个capture pin,那么Capture Graph Builder就采用一个Smart Tee Filter将视频流分流,graph图如下

 

5

7.      将设备从系统中移走时的事件通知(Device remove Notify

如果用户将一个graph正在使用的即插即用型的设备从系统中去掉,filter图表管理器就会发送一个EC_DEVICE_LOST事件通知,如果该设备又可以使用了,filter图表管理器就发送另外的一个EC_DEVICE_LOST通知,但是先前组建的捕捉filter graph图就没法用了,用户必须重新组建graph图。

当系统中有新的设备添加时,dshow是不会发送任何通知的,所以,应用程序如果想要知道系统中何时添加新的设备,应用程序可以监控WM_DEVICECHANGE消息。

8.      从静止图像pin中捕捉图片

有些照相机,摄像头除了可以捕获视频流以外还可以捕获单张的,静止的图片。通常,静止的图片的质量要比流的质量要高。摄像头一般都一个按钮来触发,或者是支持软件触发。支持输出静态图片的摄像头一般都要提供一个静态图片pin,这个pin的种类是PIN_CATEGORY_STILL

从设备中获取静态图片,我们一般推荐使用windows Image Acquisition (WIA) APIs。当然,你也可以用dshow来获取图片。

graph运行的时候利用IAMVideoControl::SetMode来触发静态的pin。代码如下

 pControl->Run(); // Run the graph.

 IAMVideoControl *pAMVidControl = NULL;

 hr = pCap->QueryInterface(IID_IAMVideoControl, (void**)&pAMVidControl);

 if (SUCCEEDED(hr))

 {

 // Find the still pin.

 IPin *pPin = 0;

 hr = pBuild->FindPin(pCap, PINDIR_OUTPUT, &PIN_CATEGORY_STILL, 0, FALSE, 0, &pPin);

 if (SUCCEEDED(hr))

 {

 hr = pAMVidControl->SetMode(pPin, VideoControlFlag_Trigger);

 pPin->Release();

 }

 pAMVidControl->Release();

 }

首先向capture Filter 请求IAMVideoContol,如果支持该接口,就调用ICaptureGraphBuilder2::FindPin请求指向静止pin 的指针,然后调用pinput_Mode方法。

根据不同的摄像头,你可能静态pin连接前要render pin

捕捉静态图片常用的filterSample Grabber filterSample Grabber使用了一个用户定义的回调汗水来处理图片。关于这个filter的详细用法,参见Using the Sample Grabber.

下面的例子假设静态pin传递的是没有压缩的RGB图片。首先定义一个类,从ISampleGrabberCB继承。

 // Class to hold the callback function for the Sample Grabber filter. class SampleGrabberCallback : public ISampleGrabberCB

 {

 // Implementation is described later.

 }

// Global instance of the class.

SampleGrabberCallback g_StillCapCB;

然后将捕捉filter的静态pin连接到Sample Grabber,将Sample Grabber连接到Null Renderer filterNull Renderer仅仅是将她接收到的sample丢弃掉。实际的工作都是在回调函数里进行,连接Null Renderer 仅仅是为了给Sample Grabber's 输出pin上连接点东西。具体见下面的代码

 // Add the Sample Grabber filter to the graph.

 IBaseFilter *pSG_Filter;

 hr = CoCreateInstance(CLSID_SampleGrabber, NULL, CLSCTX_INPROC_SERVER,

 IID_IBaseFilter, (void**)&pSG_Filter);

 hr = pGraph->AddFilter(pSG_Filter, L"SampleGrab");

// Add the Null Renderer filter to the graph.

IBaseFilter *pNull;

hr = CoCreateInstance(CLSID_NullRendere, NULL, CLSCTX_INPROC_SERVER, IID_IBaseFilter, (void**)&pNull);

hr = pGraph->AddFilter(pSG_Filter, L"NullRender");

然后通过RenderStreamstill pin sample grabber null Renderer连接起来

 hr = pBuild->RenderStream(

 &PIN_CATEGORY_STILL, // Connect this pin ...

 &MEDIATYPE_Video, // with this media type ...

 pCap, // on this filter ...

 pSG_Filter, // to the Sample Grabber ...

 pNull); // ... and finally to the Null Renderer.

然后调用ISampleGrabber指针,来通过这个指针可以分配内存。

 // Configure the Sample Grabber.

 ISampleGrabber *pSG;

 hr = pSG_Filter->QueryInterface(IID_ISampleGrabber, (void**)&pSG);

 pSG->SetOneShot(FALSE);

 pSG->SetBufferSamples(TRUE);

设置你的回调对象

 pSG->SetCallback(&g_StillCapCB, 0); // 0 = Use the SampleCB callback   method

获取静态pinsample grabber之间连接所用的媒体类型

 // Store the media type for later use.

 AM_MEDIA_TYPE g_StillMediaType;

 hr = pSG->GetConnectedMediaType(&g_StillMediaType);

 pSG->Release();

媒体类型包含一个BITMAPINFOHEADER结构来定义图片的格式,在程序退出前一定要释放媒体类型

 // On exit, remember to release the media type.

 FreeMediaType(g_StillMediaType);

看看下面的回调类吧。这个类从ISampleGrabber接口派生,但是它没有保持引用计数,因为应用程序在堆上创建这个对象,在整个graph的生存周期它都存在。

所有的工作都在BufferCB函数里完成,当有一个新的sample到来的时候,这个函数就会被sample Grabber调用到。在下面的例子里,bitmap被写入到一个文件中

class SampleGrabberCallback : public ISampleGrabberCB

 {

 public:

 // Fake referance counting.

 STDMETHODIMP_(ULONG) AddRef() { return 1; }

 STDMETHODIMP_(ULONG) Release() { return 2; }

 STDMETHODIMP QueryInterface(REFIID riid, void **ppvObject)

 {

 if (NULL == ppvObject) return E_POINTER;

 if (riid == __uuidof(IUnknown))

 {

 *ppvObject = static_cast<IUnknown*>(this);

 return S_OK;

 }

 if (riid == __uuidof(ISampleGrabberCB))

 {

 *ppvObject = static_cast<ISampleGrabberCB*>(this);

 return S_OK;

 }

 return E_NOTIMPL;

 }

 STDMETHODIMP SampleCB(double Time, IMediaSample *pSample)

 {

 return E_NOTIMPL;

 }

 STDMETHODIMP BufferCB(double Time, BYTE *pBuffer, long BufferLen)

 {

 if ((g_StillMediaType.majortype != MEDIATYPE_Video) ||

 (g_StillMediaType.formattype != FORMAT_VideoInfo) ||

 (g_StillMediaType.cbFormat < sizeof(VIDEOINFOHEADER)) ||

 (g_StillMediaType.pbFormat == NULL))

 {

 return VFW_E_INVALIDMEDIATYPE;

 }

 HANDLE hf = CreateFile("C:""Example.bmp", GENERIC_WRITE,

 FILE_SHARE_WRITE, NULL, CREATE_ALWAYS, 0, NULL);

 if (hf == INVALID_HANDLE_VALUE)

 {

 return E_FAIL;

 }

 long cbBitmapInfoSize = g_StillMediaType.cbFormat - SIZE_PREHEADER;

VIDEOINFOHEADER *pVideoHeader = (VIDEOINFOHEADER*)g_StillMediaType.pbFormat;

 BITMAPFILEHEADER bfh;

ZeroMemory(&bfh, sizeof(bfh));

bfh.bfType = 'MB'; // Little-endian for "MB".

bfh.bfSize = sizeof( bfh ) + BufferLen + cbBitmapInfoSize;

bfh.bfOffBits = sizeof( BITMAPFILEHEADER ) + cbBitmapInfoSize;

// Write the file header.

DWORD dwWritten = 0;

WriteFile( hf, &bfh, sizeof( bfh ), &dwWritten, NULL );

WriteFile(hf, HEADER(pVideoHeader), cbBitmapInfoSize, &dwWritten, NULL);

WriteFile( hf, pBuffer, BufferLen, &dwWritten, NULL );

CloseHandle( hf );

return S_OK;

0
0
猜你在找
查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
快速回复 TOP

你可能感兴趣的:(Direcshow中视频捕捉和参数设置报告)