DirectShow一些流程

 以dsnetwork为例,Directshow协商过程:
1.BuildGraph维护着链表，有各个filter的链接信息.
首先对输入filter和输入filter
1. ConnectFilter中协商类型:
    我们实现的ConnectFilter方法:
    1). 枚举输入pin的每个媒体类型：   EnumPins由basefilter创建一个IEnumPin接口,basefilter已经实现，
    IEnumPin的next方法中会调用basefilter::GetPinCount(),和basefilter::GetPin(index)获取的每一个IOutputPin
    首先通过调用UpPin->ConnectedTo()获取是否已经inputPin内部创建或者已经链接了一个DownPin,如果没有
    枚举down(input)的Pin，对downPin和上面的流程一样，也是先获取IEnumPin接口，而且开始先DownPin->ConnectTo()
    如果up和downPin都无法ConnectTo,则调用 BuildGraph->Connect
    
    2). BuildGraph->Connect的实现流程:
    在首先对的IOutPin:IBasePin->Connect(pReceivePin),在IBasePin:Connect中
    首先调用AgreeMediaType(pReceivePin,pmt)
    1.2.1 在AgreeMediaType中，如果pmt类型完全指定，则直接返回AttemptConnection(pReceivePin, MediaType).
    1.2.2 for(x=0;x<2;x++)依据IOutPin变量m_bTryMyTypesFirst(bool,只可能为0或者1)判断是先看recvpin的类型还是看自己的类型。
    先假设为0，则先看pReceivePin的媒体类型(通过EnumMediaTypes返回type的枚举).
    1.2.3 接着调用TryMediaTypes(pReceivePin,pmt,pEnumMediaTypes).在TryMediaTypes中，枚举传入的pEnumMediaTypes调用next，对每个MediaType,调用AttemptConnection(pReceivePin, pMediaType)
    1.2.4 在AttemptConnection中，先CheckConnect看自己的内存分配器，接着调用自己的IOutPin->CheckMediaType检查自己是否接受系统的这个的媒体类型,如果不接受，跳至1.2.3继续系统的下一个媒体类型
    1.2.5 如果自己IOutPin支持此媒体类型，接着调用自己的SetMediaType媒体类型设置当前的媒体类型，保存完之后，对该pReceivePin->ReceiveConnection(this<outputpin>, MediaType)
        1.2.5.1 在pReceivePin->ReceiveConnection(MediaType)中，主要工作是和AttemptConnection()差不多，只不过是判断调用者已经是recvPin的.先CheckConnect():判断内存分配器;
        再CheckMediaType(recvPin);检查此类型,如果成功，则调用CompleteConnect(). 在outputPinBase中的CompleteConnect中，会调用DecideAllocator()，这里是input的，所以直接返回NOERROR.到1.2.7步
        1.2.5.2 如果pReceivePin->ReceiveConnection(MediaType)成功，则IOutPin会调用自己的IOutput::CompleteConnect
    1.2.6 IOutPinBase:DecideAllocator(m_InputMemPin)协商内存分配器. 内存分配器只能使用一个，但具体使用哪个需要协商， 而且从OutPin发起这次协商
        (m_InputMemPin是OutPinBase中的方法CheckConnect从inputPin中查询出来的接口)  
        1.2.6.1 先调用InputPin->GetAllocatorRequirements,返回Input的内存需求的属性,inpro
        1.2.6.2 接着调用InputPin->GetAllocator获取input的内存分配器器inalloc,失败则跳到1.2.6.5
        1.2.6.3 调用自己的DecideBufferSize(inalloc,inpro),,失败则跳到1.2.6.5
        1.2.6.4 调用InputPin->NotifyAllocator(inalloc，bReadOnly)，通知给InputPin使用此Alloc.失败则跳到1.2.6.5
        1.2.6.5 如果InputPin的Alloc不可用，则先IOutPinBaser自己InitAllocator()创建alloc,接着，流程和1.2.6.3,1.2.6.4一样了.
    1.2.3 如果AgreeMediaType成功，则成功，否则失败.
    
2. 智能链接:
    智能链接主要是RenderFile(LPCWSTR lpwstrFile, LPCWSTR lpwstrPlayList)工作的过程，
    2.1 智能协商的过程中首先要加入(AddSourceFilter)一个最初的source filters.(必须除了IBaseFilter之外,需要额外实现IFileSourceFilter接口:Load和GetCurFile()2个接口)
        2.1.1 首先看lpwstrFile中协议:是HTTP,FILE,还是mms,RTSP等(:之前的字符)，没有协议的话则是文件.比如rtsp://192.168.1.3/test.avi则是一个rtsp协议的文件.
        2.1.2 如果有协议(FILE不算)
            查找HKEY_CLASS_ROOT/协议名字(比如rtsp)，接着查找它的SubKey，有无"Source Filter"和"Extensions":
                HKEY_CLASSES_ROOT
                <protocol(比如rtsp)>
                    Source Filter = <Source filter CLSID>
                    Extensions
                        <.ext1> = <Source filter CLSID>
                        <.ext2> = <Source filter CLSID>            
             它先查找Extensions下，如果有对应的Extensions匹配，比如上面的ext1为.avi，则把右边的<Source filter CLSID>则是source filters
             如果Extensions没有对应的，则把Source Filter右边<Source filter CLSID>认为是最终的source filters
             如果都没有，则认为系统提供的File Source (URL) 为这次的source filters
             
       2.1.3 如果是文件(或者FILE://....)
             2.1.3.1    查找:HKEY_CLASSES_ROOT\Media Type\Extensions\.ext,比如.mp3,查找该健值中的Source Filter,如果有,则此Source Filter就是本次的Source Filter
             2.1.3.2    另外,有时，有的HKEY_CLASSES_ROOT\Media Type\Extensions\.ext的还有另外2个值(Media Type和SubType),这2个键值都指向了一个GUID，
             2.1.3.3    在健HKEY_CLASSES_ROOT\Media Type 查找这2个GUID,
                比如.mp3 Media Type={E436EB83-524F-11CE-9F53-0020AF0BA770},Subtype={E436EB87-524F-11CE-9F53-0020AF0BA770}
                则在HKEY_CLASSES_ROOT\Media Type\{E436EB83-524F-11CE-9F53-0020AF0BA770}\{E436EB87-524F-11CE-9F53-0020AF0BA770}存在键就是配置了文件是否真正是mp3文件
                和.mp3对应的source filter. 
                比如:.midi
                {e436eb83-524f-11ce-9f53-0020af0ba770}
                    {7364696D-0000-0010-8000-00AA00389B71}
                        0                    "0,4,,52494646,8,4,,524D4944"
                        1                    "0,4,,4D546864"
                        Source Filter        "{E436EBB5-524F-11CE-9F53-0020AF0BA770}"
                        
                怎么判断是否是mp3文件呢？在此健下有一些数字值(1,2,...),每个数字的值有offset,cb,mask,val这4个值的多个组合值，
                如果满足了某一个数字中任意:read(buf, cb, 1, fp+offset) & mask == val，则是此格式文件，详细介绍见dirext文档
                比如：0, 4, , ABCD1234,  -4, 4, , ABAB00AB，表示前个值必须是ABCD1234,而最后4个值是ABAB00AB.(-4是倒数第4个字节)
                
         2.1.4 如果一个Source Filter都没有找到，则使用Async File Source filter,并且它的类型是Media Type=MEDIATYPE_Stream, SubType=MEDIASUBTYPE_None
         
    2.2 RenderFile()内部接着加载其它的Filter:从SourceFilter的输出IPin开始，从这里开始一条智能链接，本质上链接的过程就是上面connect的协商过程，而智能的含义则是尽快找到
        一个合适的链路，这些合适的filter从哪来呢？这就是智能的算法所要解决的问题。
        2.3.1 如果Source Filter支持IStreamBuilder方法，则直接转交给IStreamBuilder::Render(SourceFilter, BuildGragh);这种方式主要是相当于取消智能链接而采用自己的方法.
        2.3.2 buildGraph使用在内存缓冲的filter进行链接，内存缓冲的filter是指此buildgraph曾经成功链接过的filter.
        2.3.3 buildGraph使用加入了buildGraph中(addFilter),但未用的filter进行链接
        2.3.4 如果还没有找到，则使用IFilterMapper2::EnumMatchingFilters来找到每个Merit不为MERIT_DO_NOT_USE的filter,一个一个进行链接.
        2.3.5 都没有找到，则失败
        
    2.3 智能链接成功之后，从Source Filter中查询到IFileSourceFilter接口,调用它的Load方法,值得注意的是,此Load方法第一次调用最好返回失败，实际上此方法作用没有弄明白.  

typedef struct tagAM_SAMPLE2_PROPERTIES
    {
        DWORD cbData;
        DWORD dwTypeSpecificFlags;
        DWORD dwSampleFlags;
        LONG lActual;
        REFERENCE_TIME tStart;
        REFERENCE_TIME tStop;
        DWORD dwStreamId;
        AM_MEDIA_TYPE *pMediaType;
        BYTE *pbBuffer;
        LONG cbBuffer;
    }  AM_SAMPLE2_PROPERTIES;
    
3. 动态改变运行时刻的MediaType和SubType:
    3.1 从上往下改变，也就是OutputPin通知InputPin改变(假设A->B,A导出OutputPin,B导出InputPin)
        通常如果类型被改变之后，需要整个buildGraph重新构建.但有时确实需要动态改变媒体类型.首先OutputPin调用InputPin的QueryAccept检查类型，接着再进行CBaseInputPin::Receive;
            3.1.1 BuildGraph传递Sample，通过调用InputPin->Receive(ISample),首先检查CheckStreaming()：检查是否inputPin被链接，且非停止状态,Flush状态,m_bRunTimeError==TRUE.
            3.1.2 先查询ISample是否支持IID_IMediaSample2接口，如果支持，从此接口中获取pSample2->GetProperties(&m_SampleProps),跳至3.1.4
            3.1.3 如果不支持IID_IMediaSample2接口,则分别调用pISample->IsDiscontinuity,pSample->IsPreroll(),pSample->IsSyncPoint,pSample->GetTime,pSample->GetMediaType()
                现在关键来了，如果pSample->GetMediaType()获取成功，则表示类型改变!每个pISample获取的接口，都会修改m_SampleProps里面的值.
                补充: 接着是获取Sample中的内存信息:pSample->GetPointer(&m_SampleProps.pbBuffer), pSample->GetActualDataLength(),pSample->GetSize().
            3.1.4 检查m_SampleProps中的类型是否改变，如果没有改变则直接返回NOERROR.
            3.1.5 如果类型改变了，则InputPin->CheckMediaType() Sample传入的新的类型.如果检查通过，则返回NOERROR
            3.1.6 如果不支持新的类型，则把m_bRunTimeError置为TRUE,接着调用EndOfStream(),最后调用此InputPin的Filter->NotifyEvent消息(EC_ERRORABORT,VFW_E_TYPE_NOT_ACCEPTED,0)
   3.2 从下往上改变，也就是InputPin通知OutputPin改变.这种情况需要B的内存分配器由B创建的才可以上下往上改变类型.
           3.2.1 B调用A的  QueryAccept检查类型,如果无问题. 
           3.2.2 B设置自己的内存缓冲的空Sample设置类型(所以需要B管理内存分配器才可以上下往上该变),A这样调用GetBuffer()时，获取的Sample就可以知道类型被改变.
   
   3.3 上面2种如果sample的也有改变,则需要这样做:
        3.3.1  调用下一级的A filter::ReceiveConnection,(见类型协商章节，里面会重新协商内存分配器,DecideAllocator)，如果成功，则调用A的OutputPin的IMemAllocator::SetProperties.
        3.3.2  调用输入pin的IMemAllocator::NotifyAllocator通知使用新的Sample
        3.3.3  调用这些之前确保以前的Sample类型已经发送完毕
        
4.动态增删Filter
    4.1         
            
    
    
5.数据传送:
    传送的数据是个ISample接口，并不做实际的内存拷贝.
    5.1 推模式:比如网络流，数字电视等实时数据
        OupputPin和InputPin等都保存了一个IInputMem(在OutputPin的CheckConnect时,查询InputPin获取的此接口).
        5.1.1 OutPutPin获取数据之后，OutputPin.Deliver()数据，Deliver(pSample)就是调用的是InputPin的Receive(pSample)
        5.1.2 InputPin在Receive(pSample)内部的处理流程见3.1.1~3.1.6
        5.1.3 一直到Rendder,Rendder获取之后，给硬件输出。
        5.1.4 pSample如果不用，则注意Release,在你的Sample实现的接口中，Release()方法需要DeleteMediaType(),以及内存回收.
        
    5.2 推模式:比如从文件中读取，文件source只有等待别人来拉数据，同步等信息由后面的filter来拉。
    从另外 一个 角度上讲文件Source和后面的filter一起可以看作是一个推模式的Filter.
        文件sourcefilter的outputPin，也实现了一个IAsyncReader接口。
        
    5.3 IMemAllocator, IMediaSample, IMediaSample2这几个接口的关系
     IMemAllocator是管理内存的地方
     IMediaSample是设置内存属性，包括时间戳，获取内存缓冲地址, 获取和设置数据的真正长度, 获取和设置媒体类型（用于动态改变，见3章节）
     IMediaSample2是继承IMediaSample,简化了IMediaSample的操作，一次性可以把IMediaSample的所有属性全部获取过来.(GetProperties,SetProperties)
        
        
        
6.状态跳转:Run,Stop,Pause.
    GraphBuilder为了降低死锁的概率，逆序filter，一个一个地状态跳转.
    6.1 Stop->Run
        Stop->Run和Stop->Pause一样,唯一的区别在于RenndefFilter是否会阻塞数据传送线程.
        
    6.2 Stop->Pause
        6.2.1 逆序filter,从render开始对filter的每个Pin调用Activate(一般实现了内存分配m_pAllocator->Commit())，如果是SourceFilter则还会开启数据发送线程
        6.2.2 到了Source Filter之后，Source Filter开起一个线程开始数据发送，一直发送到render.
        6.2.3 Render收到此第一个Sample之后，阻塞数据发送线程.
    6.3 Pause->Stop
          
  遗留问题:  线程同步问题：数据发送线程和主控制线程的事件谁创建的？GetBuffer()为什么也需要阻塞？Recieve()也会阻塞?
  对数据流程的发送和控制需要进一步了解.
  GetBuffer是从有Buffer的地方获取（相当于源），缓冲满了会阻塞。
  Recieve()会阻塞是发送到render的地方还没有处理完，或者下一级的pin的Outputpin缓冲满了而阻塞了.
    分析ZmNetWork.
    
7.媒体定位:IMediaSeek
    由Graphbuilder发起，先是Rendder,然后->transform->Source Filter, SourceFilter或者拉模式的Parsefilter和SpliterFilter是实现IMediaSeek的真正地方
    
    7.1 定位:另外一般遵守这个规则:
       7.1.1 Rendder调用上一级TransformerFilter的输出pin进行IMediaSeek
       7.1.2 TransformerFilter对输出Pin中的此操作又对上一级的Filterpin进行IMediaSeek,直到SourceFilter
       7.1.3 如果TransFormerFilter有多个InputPin,则要选择合适的InputPin对应的outputPin进行IMediaSeek
       7.1.4 如果是Source Filter,如果有多个outputpin,则只要实现一个OutPin支持IMediaSeek就可以了
       7.1.5 无论是哪个定位，如果当前状态是Run状态，则GraphBuild会先进行Pause.
       
       
    7.2 传送速率:SetRate
       7.2.1 GraphBuilder会先对IMediaSeek获取当前位置:IMediaSeek->GetCurPosition
       7.2.2 GraphBuilder如果在运行或者暂停，则停止
       7.2.3 GraphBuilder重新设置以下位置:IMediaSeek->SetCurPosition
       7.2.4 调用IMediaSeek->SetRate()
       7.2.5 恢复原有的状态.
       原则：
        比如原来正常速度播放时候，sample的时间戳是这样的
        0 - 2
        2 - 4
        4 - 6
        如果你设置setRate为2倍速，那么source filter送出去的sample上的时间戳应该是
        0 - 1
        1 - 2
        2 - 3
        注：上面的时间戳0/1/2/3/4...仅为方便说明，不是真实的时间戳.
      其实就是欺骗video/audio Render,让它们以为当前的时间是真实时间的1/2,相当于加快了播放了.
8.质量控制:由render发出，主要目的是控制sample(Source Filter或者拉模式的splitter)的速率.
    质量控制的接口是：IQualityControl::Notify(filter, Q),IQualityControl::SetSink(IQualityControl)
    1. render发起
    2. Transformer,首先调用transformerFilter的AlterQuality(Q).如果返回S_FALSE,则调用TransformerFilter::m_inputPin的PassNotify(Q)
    3. 一直到最终的source filter
    
    4.第二种方法，另外写个组件，实现了IQualityControl,然后再IQualityControl::SetSink给renderFilter即可.不过这种方式细节考虑的比较多，不推荐使用.