视音频入门知识

最近公司对多媒体开发的需求开始增多，需要从底层了解多媒体的知识，今天趁时间空闲把入门知识给自己mark下来，大家也可以一起了解下，有什么补充就留言告诉我，毕竟小白呀 ¦-D

容器格式：不管是音频文件还是视频格式的文件，都是一个多媒体的容器，即container，比如常见的视频容器格式有avi、mp4、mkv、flv、rm/rmvb、mov、ts、vob、dat，音频容器格式有MP3、WAV、AAC、APE，FLAC等等，它容纳了视频、音频、字幕（subtitle）等一个或多个基本流数据，有的甚至一个容器中存放有多个视频、音频以及字幕。

---

压缩格式：对视频、音频数据的基本流进行的压缩方式就是音视频的压缩格式。常见的视频压缩格式如mpeg2、mpeg4、H264、VC1、Rm/Rmvb，常见音频压缩格式如MPA、AAC、AC3、DTS。注意这里的部分名字和上面的一样，但意义不同，上面是封装格式，这里是压缩格式。为什么要压缩呢？因为不压缩的话，要存储图像或声音就需要非常多的空间，比如mpeg2压缩比能达到25:1左右，而H264甚至能达到102:1的惊人程度！

---

ES：也就是ElementaryStream，也称为基本流、组件流等称呼，就是单独的一路视频、一条音频、一个subtitle字幕或者单个的附加数据。显然常见的多媒体文件一个都有一个视频ES、音频ES，有的也含有多个视频ES和音频ES以及subtitleES。比如蓝光原版的TS一般都含有多个音轨ES和字幕ES，但不是所有有字幕都有字幕ES，可能字幕已经内嵌进视频，这样的字幕其实成了视频的一部分。

---

Demux：在播放时，需要把这些视音频以及字幕等基本流分离出来，这个过程就叫Demux，或者解封装，也称为解复用。分离出来的各个基本流（ES）分别送给视频解码器、音频解码器等解码后才能得到图像声音。Demux过程如下图（subtitle也可能需要解码）：

Remux：当然Demux反过来把基本的音频、视频、字幕等组合成一个完整的多媒体就是Remux或者封装，也称为复用。比如很多电影网站的音视频压制的人就需要先做Demux，分离成ES，在加入必要的中文字幕和音轨后、重新封装。所有的转码工具也都必须有Remux和重新Demux的过程。复用与解复用的概念对于熟悉DVB行业的读者来说应该比较清楚。

---

PTS：也就是显示时间戳，指图像或者声音在解码后应该显示或者发声的时间点。音视频不是一解码出来就播出来，否则就乱了，性能好的解码器播放的快，差的播放的慢，并且视频和音频也对不上号。所有这些都是靠PTS来同步的。至于DTS解码时间戳在现在相对以前较大解码内存缓冲下，显得不那么重要了。