如何设计自定义的transform filter

2008/12/31 19:30

对于DIrectShow的初学者而言,最大的困难莫过于尝试设计自定义的filter。
设计自定义的transform filter是困难的
因为 首先filter是一种dll (后缀名为.ax)而编写dll工程需要一定的VC基础 所以建议先补充一点dll的知识
其次 dll的注册,GUID的生成和工程的配置都很麻烦。
再次 网上缺乏现成的transform filter的例子。DirectShow给的源码比如NULLINPLACE 和CONTRAST都太复杂,都带有对话框和属性页,不适合初学者,而且这些例子 没有一个涉及到图像格式的转换,而transform filter最大的公用就是媒体类型的转换,因此这些例子不适用
作为一个初学者,我深深受到这些问题的困扰,经过刻苦钻研终于走出了这个泥潭,豁然开朗。于是把它记录下来,希望可以对其他人有帮助,也作为对08年的一个小结。

我的例子是 设计一个 transform filter 把 YUY2 16bit 的媒体转化为RGB24 24bit的类型。
原因是我的摄像头只支持YUY2 16bit这种格式, 我想得到位图。。顺便学习一下Filter的设计

以下为具体步骤:


一 配置开发环境

   1. VC中在Tools->Options->Directories 设置好DirectX SDK的头文件和库文件路径   
   2. 编译了基类源码,生成strmbasd.lib (debug版), strmbase.lib(release版)
   3. VC向导新建一个win32 DLL(empty)工程
   4. Setting->Link->Output file name: YUV2RGBfilter.ax
   5. Setting->Link加入strmbasd.lib winmm.lib quartz.lib vfw32.lib   (注意路径)
   6. 定义一个同名.def文件,加入到工程,内容如下:
         
        LIBRARY YUV2RGBfilter.ax
        EXPORTS
           DllMain              PRIVATE  
           DllGetClassObject    PRIVATE
           DllCanUnloadNow      PRIVATE
           DllRegisterServer    PRIVATE
           DllUnregisterServer PRIVATE

   7.建立一个类 YUV2RGBfilter 建立他的cpp文件和h文件
  
   8. 在YUV2RGBfilter.cpp中定义DLL的入口函数及注册   放在cpp文件的最后

//
// DllEntryPoint
//
extern "C" BOOL WINAPI DllEntryPoint(HINSTANCE, ULONG, LPVOID);

BOOL APIENTRY DllMain(HANDLE hModule,
                      DWORD dwReason,
                      LPVOID lpReserved)
{
return DllEntryPoint((HINSTANCE)(hModule), dwReason, lpReserved);
}



//
// Exported entry points for registration and unregistration
// (in this case they only call through to default implementations).
//

STDAPI DllRegisterServer()
{
    return AMovieDllRegisterServer2( TRUE );
}

STDAPI DllUnregisterServer()
{
     return AMovieDllRegisterServer2( FALSE );
}

 

   9. cpp文件中要包含的头文件

#include
#include
#include
#include
#if (1100 > _MSC_VER)
#include
#endif
#include "Y2Ruids.h"         // our own public guids
#include "YUV2RGBfilter.h"
  
二 开发Filter

   1. 生成GUID( 命令行模式下运行guidgen工具) 为他建立一个文件Y2Ruids.h 单独引用
#include
// YUV2toRGB24 Filter Object
// {F91FC8FD-B1A6-49b0-A308-D6EDEAF405DA}
DEFINE_GUID(CLSID_YUV2toRGB24,
0xf91fc8fd, 0xb1a6, 0x49b0, 0xa3, 0x8, 0xd6, 0xed, 0xea, 0xf4, 0x5, 0xda);
      
   2. 构造CYUV2RGBfilter类 继承自CTransformFilter    写在TransformFilter.h中

// ----------------------------------------------------------------------------
// Class definitions of CYUV2RGBfilter
// ----------------------------------------------------------------------------
//
//
class CYUV2RGBfilter : public CTransformFilter
{

    public:
        static CUnknown * WINAPI CreateInstance(LPUNKNOWN punk, HRESULT *phr);

        STDMETHODIMP NonDelegatingQueryInterface(REFIID riid, void ** ppv);
  
        DECLARE_IUNKNOWN;
// override pure virtual function
        HRESULT CheckInputType(const CMediaType *mtIn);
        HRESULT CheckTransform(const CMediaType *mtIn, const CMediaType *mtOut);
        HRESULT DecideBufferSize(IMemAllocator *pAlloc, ALLOCATOR_PROPERTIES *pProp);
        HRESULT GetMediaType(int iPosition, CMediaType *pMediaType);
        HRESULT Transform(IMediaSample *pIn, IMediaSample *pOut);

    private:
        //Constructor
        CYUV2RGBfilter(TCHAR *tszName, LPUNKNOWN punk, HRESULT *phr);
   // member function
   VOID ChangeFormat(AM_MEDIA_TYPE* pAdjustedType);
   DWORD ConvertYUV2toRGB(BYTE* yuv, BYTE* rgb, DWORD dsize);

    // member variable
   const long m_lBufferRequest;
        CCritSec m_Y2RLock;     // To serialise access.
};

 

   3. 按格式改写构造函数
        //
// CNullInPlace::Constructor
//
CYUV2RGBfilter::CYUV2RGBfilter(TCHAR *tszName,LPUNKNOWN punk,HRESULT *phr) :
    CTransformFilter(tszName, punk, CLSID_YUV2toRGB24),
    m_lBufferRequest(1)
{
ASSERT(tszName);
    ASSERT(phr);
   
} // CYUV2RGBfilter

 

   4. 改写CTransformFilter五个纯虚函数(最重要的地方)

        HRESULT CheckInputType(const CMediaType *mtIn);
        HRESULT CheckTransform(const CMediaType *mtIn, const CMediaType *mtOut);
        HRESULT DecideBufferSize(IMemAllocator *pAlloc, ALLOCATOR_PROPERTIES *pProp);
        HRESULT GetMediaType(int iPosition, CMediaType *pMediaType);
        HRESULT Transform(IMediaSample *pIn, IMediaSample *pOut);

   5. 设计自己的私有函数 完成一定的功能

   6. 注册Filter信息
      
// 注册信息

//setup data

const AMOVIESETUP_MEDIATYPE
sudPinTypes =   { &MEDIATYPE_Video                // clsMajorType
                , &MEDIASUBTYPE_NULL } ;       // clsMinorType

const AMOVIESETUP_PIN
psudPins[] = { { L"Input"            // strName
               , FALSE               // bRendered
               , FALSE               // bOutput
               , FALSE               // bZero
               , FALSE               // bMany
               , &CLSID_NULL         // clsConnectsToFilter
               , L"Output"           // strConnectsToPin
               , 1                   // nTypes
               , &sudPinTypes }      // lpTypes
             , { L"Output"           // strName
               , FALSE               // bRendered
               , TRUE                // bOutput
               , FALSE               // bZero
               , FALSE               // bMany
               , &CLSID_NULL         // clsConnectsToFilter
               , L"Input"            // strConnectsToPin
               , 1                   // nTypes
               , &sudPinTypes } };   // lpTypes


const AMOVIESETUP_FILTER
sudYUV2RGB = { &CLSID_YUV2toRGB24                 // clsID
            , L"YUV2RGB"                // strName
            , MERIT_DO_NOT_USE                // dwMerit
            , 2                               // nPins
            , psudPins };                     // lpPin

//
// Needed for the CreateInstance mechanism
//
CFactoryTemplate g_Templates[1]=
    {   {L"YUV2RGB"
        , &CLSID_YUV2toRGB24
        , CYUV2RGBfilter::CreateInstance
        , NULL
        , &sudYUV2RGB }
    };
int g_cTemplates = sizeof(g_Templates)/sizeof(g_Templates[0]);

编译成功后生成GrayFilter.ax
命令行运行regsvr32 GrayFilter.ax注册即可 不用反复注册,只用注册一次,如若修改只需将重新编译的.ax覆盖原来的就行了
调试最好在graphEdit中经行 比较方便。

以上就是设计一个filter的总体步骤。

三 下面就关键点 五个重载的纯虚函数做详细介绍。 这才是最关键的地方。

        HRESULT CheckInputType(const CMediaType *mtIn);
        HRESULT CheckTransform(const CMediaType *mtIn, const CMediaType *mtOut);
        HRESULT DecideBufferSize(IMemAllocator *pAlloc, ALLOCATOR_PROPERTIES *pProp);
        HRESULT GetMediaType(int iPosition, CMediaType *pMediaType);
        HRESULT Transform(IMediaSample *pIn, IMediaSample *pOut);
这五个函数全部是都纯虚函数 ,是CTransformFilter为我们提供的接口,必须重载他们才能实例化。
初学者最大的困扰莫过于,是谁调用了这些函数。这些函数调用的时候实参是从哪来的。我一开始就被这些问题困扰。其实DX的帮助文档里就讲的很清楚了只是我一开始没认真看;

CheckInputType是由tranformfiltr的输入pin调用的用来检查本Filter的输入媒体是否合法;
CheckTransform是由tranformfiltr的输出pin调用的用来检查本filter的输出是否和合法;
GetMediaType是有由tranformfiltr的输出pin调用的用来获取该输出端口支持的媒体格式供下游filter的枚举
DecideBufferSize是由tranformfiltr的输出pin调用的来确定buffer的数量和大小
上游filter通过调用filter上输入pin上的IMemInputPin::Receive方法,将sample传递到filter,filter调用CTransformFilter::Transform方法来处理数据


整个过程就是
   输入pin调用CheckInputType来筛选上游过来的媒体类型,如果可以接受 就有输出pin通GetMediaType来枚举输出媒体类型,进一步通过输出pin的CheckTransform来找到与输入媒体类型相融合的输出媒体类型并选中。在通过DecideBufferSize确定输出buffer的属性,所有的检查和筛选通过以后就可以连接了, 并通过tranform 将输入pin上的sample 传个输出pin输出媒体的类型是由GetMediaType来确定的, 只要媒体类型对应了就可以成功连接但是数据的传送还是要通过transform来实现。理论上对于没有压缩的视频, 一个sample就是一帧的数据,可以精确的量化处理。

要实现输出pin上媒体格式的转化 就必须在在GetMediaType函数中修改新的媒体格式,然后在checkTransform中确认 输出的媒体格式是不是期望的输出。例如 要将YUY2 16bit的媒体格式改为RGB8 8bit的媒体格式 就要做如下修改:

在GetMediaType中

CheckPointer(pMediaType,E_POINTER);
   VIDEOINFO   vih;  
   memset(&vih, 0, sizeof(vih));  
   vih.bmiHeader.biCompression   =   0;  
   vih.bmiHeader.biBitCount      =   8;  
   vih.bmiHeader.biSize          =   40;  
   vih.bmiHeader.biWidth         =   640;  
   vih.bmiHeader.biHeight        =   480;
   vih.bmiHeader.biPlanes        =   1;  
   vih.bmiHeader.biSizeImage     =   307200;  
   vih.bmiHeader.biClrImportant =   0;  
      vih.bmiHeader.biClrUsed   =   256;

//alter the pallete
   for (UINT i=0; i<256; i++)
   {
    vih.bmiColors[i].rgbBlue=(BYTE)i;
    vih.bmiColors[i].rgbRed=(BYTE)i;
    vih.bmiColors[i].rgbGreen=(BYTE)i;
    vih.bmiColors[i].rgbReserved=(BYTE)0;
    }
   pMediaType->SetType(&MEDIATYPE_Video);  
   pMediaType->SetFormatType(&FORMAT_VideoInfo);  
   pMediaType->SetFormat((BYTE*)&vih, sizeof(vih));  
   pMediaType->SetSubtype(&MEDIASUBTYPE_RGB8);  
   pMediaType->SetSampleSize(307200);

return NOERROR;

然后在checkTransform中确认是否是期望的输出

   BITMAPINFOHEADER *pNewType = HEADER(mtOut->Format());

   if ((pNewType->biPlanes==1)
    &&(pNewType->biBitCount==8)
    &&(pNewType->biWidth==640)
    &&(pNewType->biHeight==480)
    &&(pNewType->biClrUsed==256)
    &&(pNewType->biSizeImage==307200))
   {
    return S_OK;
   }

 

我的实现过程如下

// GetMediaType
//
// I support one type, namely the type of the input pin
// We must be connected to support the single output type
//
HRESULT CYUV2RGBfilter::GetMediaType(int iPosition, CMediaType *pMediaType)
{
    // Is the input pin connected

    if(m_pInput->IsConnected() == FALSE)
    {
        return E_UNEXPECTED;
    }

    // This should never happen

    if(iPosition < 0)
    {
        return E_INVALIDARG;
    }

    // Do we have more items to offer

    if(iPosition > 0)
    {
        return VFW_S_NO_MORE_ITEMS;
    }

    CheckPointer(pMediaType,E_POINTER);

if (iPosition == 0)
{
   HRESULT hr = m_pInput->ConnectionMediaType(pMediaType);
   if (FAILED(hr))
   {
    return hr;
   }
}
// make some appropriate change
ASSERT(pMediaType->formattype == FORMAT_VideoInfo);
pMediaType->subtype = MEDIASUBTYPE_RGB24;
VIDEOINFOHEADER *pVih =
reinterpret_cast(pMediaType->pbFormat);
pVih->bmiHeader.biCompression = 0;
pVih->bmiHeader.biSizeImage = DIBSIZE(pVih->bmiHeader);
pVih->bmiHeader.biBitCount = 24;
pVih->bmiHeader.biHeight = 480;
pVih->bmiHeader.biWidth = 640;
return S_OK;
} // GetMediaType


//
// CheckInputType
//
// Check the input type is OK, return an error otherwise
//
HRESULT CYUV2RGBfilter::CheckInputType(const CMediaType *mtIn)
{
    CheckPointer(mtIn,E_POINTER);
   
    // Check this is a VIDEOINFO type

    if(*mtIn->FormatType() != FORMAT_VideoInfo)
    {
        return E_INVALIDARG;
    }

    if((IsEqualGUID(*mtIn->Type(), MEDIATYPE_Video)) &&
       (IsEqualGUID(*mtIn->Subtype(), MEDIASUBTYPE_YUY2)))
    {
        VIDEOINFO *pvi = (VIDEOINFO *) mtIn->Format();
        if ((pvi->bmiHeader.biBitCount == 16)
    &&(pvi->bmiHeader.biCompression==0))
    return S_OK;
   else
    return FALSE;
    }
    else
    {
        return FALSE;
    }
} // CheckInputType

// CheckTransform
//
// To be able to transform the formats must be compatible
//mtIn YUV2 16bit
//mtOut RGB24 24bit
HRESULT CYUV2RGBfilter::CheckTransform(const CMediaType *mtIn, const CMediaType *mtOut)
{
    CheckPointer(mtIn,E_POINTER);
    CheckPointer(mtOut,E_POINTER);

    HRESULT hr;
    if(FAILED(hr = CheckInputType(mtIn)))
    {
        return hr;
    }
   
    // format must be a VIDEOINFOHEADER
    if((*mtOut->FormatType() != FORMAT_VideoInfo)
   ||(mtOut->cbFormat   ||(mtOut->subtype!=MEDIASUBTYPE_RGB24))
    {
        return E_INVALIDARG;
    }
   BITMAPINFOHEADER *pBmiOut = HEADER(mtOut->pbFormat);
   if ((pBmiOut->biPlanes!=1)
    ||(pBmiOut->biBitCount!=24)
    ||(pBmiOut->biCompression!=0)
    ||(pBmiOut->biWidth!=640)
    ||(pBmiOut->biHeight!=480))
   {
    return E_INVALIDARG;
   }

   return S_OK;
}
// CheckTransform

HRESULT CYUV2RGBfilter::DecideBufferSize(IMemAllocator *pAlloc, ALLOCATOR_PROPERTIES *pProperties)
{
    CheckPointer(pAlloc,E_POINTER);
    CheckPointer(pProperties,E_POINTER);

    // Is the input pin connected

    if(m_pInput->IsConnected() == FALSE)
    {
        return E_UNEXPECTED;
    }

    HRESULT hr = NOERROR;
    pProperties->cBuffers = 1;
    pProperties->cbBuffer = m_pInput->CurrentMediaType().GetSampleSize()*2; //output is double of the input samples

    ASSERT(pProperties->cbBuffer);

    // If we don't have fixed sized samples we must guess some size

    if(!m_pInput->CurrentMediaType().bFixedSizeSamples)
    {
        if(pProperties->cbBuffer < 100000)
        {
            // nothing more than a guess!!
            pProperties->cbBuffer = 100000;
        }
    }

    // Ask the allocator to reserve us some sample memory, NOTE the function
    // can succeed (that is return NOERROR) but still not have allocated the
    // memory that we requested, so we must check we got whatever we wanted

    ALLOCATOR_PROPERTIES Actual;

    hr = pAlloc->SetProperties(pProperties,&Actual);
    if(FAILED(hr))
    {
        return hr;
    }

    ASSERT(Actual.cBuffers == 1);

    if(pProperties->cBuffers > Actual.cBuffers ||
        pProperties->cbBuffer > Actual.cbBuffer)
    {
        return E_FAIL;
    }

    return NOERROR;

} // DecideBufferSize


//
// Transform
//
// Copy the input sample into the output sample
//
//
HRESULT CYUV2RGBfilter::Transform(IMediaSample *pIn, IMediaSample *pOut)
{
    CheckPointer(pIn,E_POINTER);
    CheckPointer(pOut,E_POINTER);

    // Copy the sample data
    BYTE *pSourceBuffer, *pDestBuffer;
    long lSourceSize = pIn->GetActualDataLength();
    long lDestSize = (long)(lSourceSize*1.5);


    pIn->GetPointer(&pSourceBuffer);
    pOut->GetPointer(&pDestBuffer);
//change data
    ConvertYUV2toRGB(pSourceBuffer,pDestBuffer,lSourceSize);
//memset(pDestBuffer,100,lDestSize);
    REFERENCE_TIME TimeStart, TimeEnd;
    if(NOERROR == pIn->GetTime(&TimeStart, &TimeEnd))
    {
        pOut->SetTime(&TimeStart, &TimeEnd);
    }

    LONGLONG MediaStart, MediaEnd;
    if(pIn->GetMediaTime(&MediaStart,&MediaEnd) == NOERROR)
    {
        pOut->SetMediaTime(&MediaStart,&MediaEnd);
    }

    // Copy the Sync point property

    HRESULT hr = pIn->IsSyncPoint();
    if(hr == S_OK)
    {
        pOut->SetSyncPoint(TRUE);
    }
    else if(hr == S_FALSE)
    {
        pOut->SetSyncPoint(FALSE);
    }
    else
    { // an unexpected error has occured...
        return E_UNEXPECTED;
    }

//
    AM_MEDIA_TYPE* pMediaType;
    pIn->GetMediaType(&pMediaType);
ChangeFormat(pMediaType);
    // Copy the media type
    pOut->SetMediaType(pMediaType);

    // Copy the preroll property

    hr = pIn->IsPreroll();
    if(hr == S_OK)
    {
        pOut->SetPreroll(TRUE);
    }
    else if(hr == S_FALSE)
    {
        pOut->SetPreroll(FALSE);
    }
    else
    { // an unexpected error has occured...
        return E_UNEXPECTED;
    }

    // Copy the discontinuity property

    hr = pIn->IsDiscontinuity();

    if(hr == S_OK)
    {
        pOut->SetDiscontinuity(TRUE);
    }
    else if(hr == S_FALSE)
    {
        pOut->SetDiscontinuity(FALSE);
    }
    else
    { // an unexpected error has occured...
        return E_UNEXPECTED;
    }

    // Copy the actual data length
//KASSERT((long)lDestSize <= pOut->GetSize());
    pOut->SetActualDataLength(lDestSize);

    return S_OK;

} // Transform


经过这些步骤就能得到符合功能要求的transform filter
同时经过以上步骤也能对filter开发有个大体的了解


部分类容参考了http://tieba.baidu.com/f?kz=143218826

你可能感兴趣的:(DirectShow)