多媒体各部分基本概念

   在流中的数据元素被称为帧Frame。每个流是由不同的编码器来编码生成的。编解码器描述了实际的数据是如何被编码Coded和解码DECoded的，因此它的名字叫做CODEC。接着从流中被读出来的叫做包Packets。包是一段数据，它包含了一段可以被解码成方便我们最后在应用程序中操作的原始帧的数据。

七个模块分别为：读文件模块，解复用模块 ，视频解码模块，音频解码音频，颜色空间转换模块，视频显示模块，音频播放模块

粗略的分为五类，分别是 Source filer, Demux flter, Decoder filter, Color Space converter filter，Render filter，各类 filter的功能与作用简述如下

Source filter

Source filter 源过滤器的作用是为下级 demux filter 以包的形式源源不断的提供数据流。在通常情况下，我们有多种方式可以获得数据流，一种是从本地文件中读取，一种是从网上获取，Sourcefilter 另外一个作用就是屏蔽读本地文件和获取网络数据的差别，在下一级的 demux filter 看来，本地文件和网络数据是一样的。

Demux filter

解复用过滤器的作用是识别文件类型，媒体类型，分离出各媒体原始数据流，打上时钟信息后送给下级 decoder filter。为识别出不同的文件类型和媒体类型，常规的做法是读取一部分数据，然后遍历解复用过滤器支持的文件格式和媒体数据格式，做匹配来确定是哪种文件类型，哪种媒体类型；有些媒体类型的原始数据外面还有其他的信息，比如时间，包大小，是否完整包等等。demux filter 解析数据包后取出原始数据，有些类型的媒体不管是否是完整包都立即送往下级 decoder filter，有些类型的媒体要送完整数据包，此时可能有一些数据包拼接的动作；当然时钟信息的计算也是 demux filter 的工作内容，这个时钟用于各媒体之间的同步。

Decoder filter

解码过滤器的作用就是解码数据包，并且把同步时钟信息传递下去。对视频媒体而言，通常是解码成 YUV 数据，然后利用显卡硬件直接支持 YUV 格式数据 Overlay 快速显示的特性让显卡极速显示。YUV格式是一个统称，常见的有 YV12，YUY2，UYVY 等等。有些非常古老的显卡和嵌入式系统不支持 YUV 数据显示，那就要转换成 RGB 格式的数据，每一帧的每一个像素点都要转换，分别计算 RGB 分量，并且因为转换是浮点运算，虽然有定点算法，还是要耗掉相当一部分 CPU，总体上效率底下；对音频媒体而言，通常是解码成 PCM 数据，然后送给声卡直接输出。

Color space converter filter

颜色空间转换过滤器的作用是把视频解码器解码出来的数据转换成当前显示系统支持的颜色格式。通常视频解码器解码出来的是 YUV 数据，PC 系统是直接支持 YUV 格式的，也支持 RGB 格式，有些嵌入式系统只支持 RGB 格式的。在本例中，视频解码器解码出来的是 RGB8 格式的数据，Color space converter filter 把 RGB8 转换成 RGB32 显示。

Render filter

渲染过滤器的作用就是在适当的时间渲染相应的媒体，对视频媒体就是直接显示图像，对音频就是播放声音。视音频同步的策略方法有好几种，其中最简单的一种就是默认视频和音频基准时间相同，这时音频可以不打时钟信息，通过计算音频的采样频率，量化 bit 数，声道数等基本参数就知道音频 PCM 的数据速率，按照这个速率往前播放即可；视频必须要使用同步时钟信息来决定什么时候显示。DirectShow 采用一个有序链表 ，把接收到的数据包放进有序链表中，启动一个定时器，每次定时器时间到就扫描链表，比较时钟信息，或者显示相应的帧，或者什么也不做，每次接收到新的数据帧，首先判断时钟信息，如果是历史数据帧就丢弃，如果是将来显示数据帧就进有序链表，如果当前时间帧就直接显示。如此这样，保持视频和音频在人体感觉误差范围内相对的动态同步。