音视频基础

一、音视频编码

视频编码

视频编码分为两个系列：
1.MPEG系列：
MPEG1（VCD使用）
MPEG2（DVD使用）
MPEG4（DVDRIP使用它的变种，如DivX，XviD等）
MPEG4 AVC
2.H.26X系列：
H261
H262
H263
H263+
H263++
H264

音频编码

音频编码格式有：
AAC：一种专为声音数据设计的文件压缩格式。
MP3：（Moving Picture Experts Group Audio Layer III）动态影像专家压缩标准音频层面3，设计用来大幅度地降低音频数据量。
AC3：Audio Coding Version 3，广泛用于5.1声道。

二、关键名词

1、帧率

Frame Rate用于测量显示帧数的量度，每秒显示帧数（frames per second，简称fps）或者赫兹（Hz）。

2、分辨率

视频分辨率是指视频成像产品所形成的图像的大小或者尺寸。

3、刷新率

刷新率是指屏幕每秒画面被刷新的次数，刷新率分为垂直刷新率和水平刷新率，一般提到的刷新率通常指垂直刷新率，以赫兹（Hz）为单位，通常80Hz的刷新率可以完全消除图像的闪烁和抖动感。

4、封装格式

把编码后的音视频数据以一定格式封装到一个容器，封装格式有MKV、AVI、TS等。

5、码率

码率也就是比特率，比特率是单位时间播放连续的媒体的比特数量。文件大小（byte）= 码率(byte/s)*时长（s）。

6、DTS与PTS

DTS：Decode Time Stamp，用于表示读入内存中的比特流在什么时候开始送入解码器中进行解码。
PTS：Presentation Time Stamp，用于度量解码后的视频帧什么时候被显示出来。

7、YUV与RGB（后面会详细聊到这个）

YUV：是PAL与SECAM模拟彩色电视制式采用的颜色空间模型，其中Y代表亮度，UV代表色差，U和V是构成颜色的两个分量。
RGB：通过对R（red）、G（green）、B（blue）3个颜色通道的变化以及它们相互间的叠加来得到各式各样的颜色。

8、视频帧以及音频帧

常见的视频帧有I、P、B帧等。
I帧：关键帧，表示一帧画面的完整保留。
P帧：差别帧，表示当前帧与之前的一个关键帧或者P帧的差别，解码的时候需要用之前换成的画面叠加上本帧定义的差别生成最终画面。
B帧：双向差别帧，表示当前帧记录的是与前后帧的差别，解码B帧不仅需要取得之前画面的缓存，还要解码之后的画面，通过前后画面的数据与本帧数据的叠加取得最终画面。B帧的压缩率高，但是解码时对CPU的消耗也高。
音频帧与编码格式相关，它是各个编码标准自己实现的。
对PCM来说，它不需要帧的概率，根据采样率和采样精度就能播放。
AMR帧规定每20ms的音频是一帧，每一帧的音频都是独立的，有可能采用不同的编码算法以及不同的编码参数。
MP3帧比较复，包含更多的信息，比如采样率、比特率等各种参数。具体如下：音频数据帧个数由文件大小和帧长决定，每一帧的长度可能不固定，也可能固定，由比特率决定，每一帧又分为帧头和数据实体两个部分，帧头记录了MP3的比特率、采样率、版本等信息，每一帧之间相互独立。

9、量化精度

量化精度表示可以将模拟信号分成多少个等级，量化精度越高，音乐的声压振幅越进阶原音乐。量化精度的单位是bit（比特），CD标准 的量化精度是16bit，DVD标准的量化精度是24bit。

10、采样率

采样率指每秒采样点个数，采样率单位用赫兹（Hz）表示。

11、声道

声道（Sound Channel）是指声音再录制或者播放时在不同空间位置采集或回放的相互独立的音频信号，所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。
常见的声道有单声道、立体声道、4声道、5.1声道、7。1声道。
单声道：设置一个扬声器。
立体声道：把单声道的扬声器扩展为左右对称的两个扬声器。
4声道：4声道环绕规定了4个发音点，分别是前左、前右、后左、后右，听众则被包围在中间。
5.1声道：将环绕声道一分为二，中央位置增加重低音效果。
7.1声道：在5.1的基础上增加了中左和中右两个发音点。

参考文献

Android 音视频开发