Direct Show 笔记
一、 总览：
Graph、Filter、Pin、Simple
Graph：可以理解为媒体处理的流程图。
Filter：可以理解为媒体处理流程图中的一个步骤。
Pin：可以理解为媒体处理各个步骤之间的数据流节点。
Simple：可以理解为各个形态的数据。
Filter的分类：
· source filter:将数据从源（比如媒体文件）引入Graph。
· transform filter：数据流入、改变、流出。
· Renderer filters：把最终结果展现给用户。
· splitter filter：比如把一个媒体流分解为视频和音频。
· mux filter：和splitter filter相反。
1. Graph Manager
主要对处于同一个Graph的Filter(s)进行统一的管理。
比如：
· 各个Filter的状态切换
· 建立同步时钟
· 事件回发
· 创建
为什么要统一管理状态切换？
因为处于同一Graph中的各个Filter的状态切换往往需要遵循严格的先后顺序。所以一般通过发送命令给Graph Manager的方式进行各Filter的状态变更。
为什么要建立同步时钟？
比如声像需要同步。
2. Media Types
结构体AM_MEDIA_TYPE定义了媒体类型。
主要包含如下结构：
· Major type: 由一个GUID来表示。通常包含音视频、未知流、MIDI等等。
· Subtype: 由一个GUID来表示。Major type为视频，则子类型可以包括RGB-24, RGB-32, UYVY
· Format block: 说明图形尺寸、帧率等信息。如果Major type为视频，sub type为RGB-24，则Format block的信息会被自动辨识。
3. Sample和Allocator
需要注意的是，各个filter之间并不直接传送它们各自进行处理的数据的指针。它们通过一个暴露IMemAllocator接口的Com组件来分配内存。填充了数据的内存被封装到Sample里面。各个Filter真正使用的是Sample。Sample通常包含：
· 内存指针
· 时间戳
· 标识
· 媒体类型（可选）
这里当一个Filter使用Sample的时候，它同时掌握这个Sample的引用计数，这样就有效杜绝了资源争用现象的发生。
4. Filter Graph中的硬件
硬件被封装到Filter中，任何与硬件的交互都转化为与Filter的交互。
二、 Graph-Building 组件
Filter Graph Manager.
Capture Graph Builder：设计的初衷是视频捕获,但是可以衍生很多用途。
Filter Mapper and System Device Enumerator：枚举可用的filter.
DVD Graph Builder
Video Control
1. 智能拼接
1) 如果在Graph里面有一个没有输入的Filter，那么Graph在完成自己的时候，就会考虑这个Filter。如果有一个已有的Filter的流出恰好与这个没有输入的Filter的流入相匹配，则将这两个Filter连接。
2) Graph在完成自己的过程中也会查找所有注册过的Filter与当前非终点Filter的流出进行匹配。注册的Filter会有一个权值，作为Graph进行连接尝试的优先级依据。
步骤：
1) 使用IStreamBuilder（如果pin实现了这个接口，但大多数情况没有）。（否则2）
2) 查找被缓存的Filter。（否则3）
3) 查找Graph现有的Filter。（否则4）
4) 查找所有注册了的Filter。
2. 关键方法
IFilterGraph::ConnectDirect:直接连接两个Filter，如不成功，返回失败。
IGraphBuilder::Connect：连接两个Filter，如果可能，直接连接，否则通过中间Filter(s)进行连接。
IGraphBuilder::Render：你自己建立了一系列从源开始的Filter，基于这些Filter(s)完成Graph。
IGraphBuilder::RenderFile：从一个文件开始完成Graph.
IFilterGraph::AddFilter:向Graph中添加一个Filter
通过这些方法，你可以：
1、 由Graph Manager建立整个Graph。（通过RenderFile）
2、 由Graph Manager建立部分Graph。（比如你想自己写一个AVI文件，当然也可以通过Render来生成预览）
3、 完全手动建立整个Graph。（需要自己AddFilter，还需要自己Connect）。
三、 Direct Show 数据流概述
1. 关键接口（方法）
IMediaSample：对Filter之间使用的内存的封装。
IMemAllocator::GetBuffer：从allocator获取Buffer（即ImediaSimple的实现对象）
摘要：
由于Render会按照时间戳来Render数据，所以它会一直占用它的上一级Filter流入的Simple，直到时间戳所标识的时间到达。所以当上一级Filter用完了allocator的Simple池中的Simple时，会阻塞而不处理，进而反向影响到更上一级的Filters，从而使它们变为等待的状态。同时由于时间戳对于Render的时间上的要求，所有上级Render都必须在Simple的时间戳标识的时间到达之前处理完自己对于该Simple的动作。
2. Transport（传送）
· Push Model（推送模型）：上层filter（pin-out）将处理好的数据推送给下层filter(pin-in)。下层filter在需要数据的时候通过IMemInputPin::Receive来获取数据。
· Pull Model（抓取模型）：下层filter(pin-in)在需要数据的时候，通过IAsyncReader异步向上层filter请求数据。（通常用于视频文件的回放）
3. Samples and Allocators
1) 引用计数
上层Filter(pin-out)通过IMemAllocator::GetBuffer向Allocator申请Simple，如果此时没有Simple的引用计数为0，则说明Allocator的Simple池中没有可用的Simple，则GetBuffer的调用会被阻塞。一旦Simple池中出现可用的Simple，则先前阻塞的GetBuffer放行，并获取一个引用计数变为1的Simple。此Simple处理后，传递给下层Filter(pin-in)，下层Filter如果在Receive方法中处理Simple，则它与上层Filter的处理处于同一线程中，Simple的引用计数不会变化，如果下层Filter需要通过创建线程异步使用上层推入的Simple进行处理，则该Simple的引用计数会加1，变为2.之后如果上层Filter的推送线程结束，则Simple的引用计数减1，变为1.
2) 提交和撤销Allocator
IMemAllocator::Commit,在被调用之前，所有的GetBuffer无效，
调用IMemAllocator::Decommit之后，所有的GetBuffer调用无效.
4. Filter 状态变化
Filter状态的变化由Graph Manager进行控制。
所有的状态变化都是自低（Render Filter）向上（Source Filter）进行的。比如暂停的时候，Render Filter会首先暂停，这时候Render之上的Filter中都会存有未能推送的Simple，此时相当于在各个Filter之前都堆积了一些等待处理的数据。沿着Render向上的Filter逐个暂停，直到Source。当状态从暂停变化为开始的时候，Render会首先变化为开始状态，处理在它之前堆积的数据，并释放那些被占用的Simple。然后逐步向上直到Source,Source在能够获取Simple之后，数据继续流入Graph，整个Graph进入开始状态。