音视频 基本知识

音视频基本知识
1.   视频的基本概念
rgb和yuv
rgb指的是红绿蓝，应用还是很广泛的，比如显示器显示，bmp文件格式中的像素值等；而yuv主要指亮度和两个色差信号，被称为luminance和 chrominance他们的转化关系可以自己去查一下，我们视频里面基本上都是用yuv格式。

yuv格式
yuv 文件格式又分很多种，如果算上存储格式，就更多了，比如yuv444、yuv422、yuv411、yuv420等等，视频压缩用到的是420格式，这是 因为人眼对亮度更敏感些，对色度相对要差些。另外要注意几个英文单词的意思，比如：packet、planar、interlace、 progressive等。

帧率
每秒钟图像的刷新速度。pal制式的电视，帧率是25帧每秒，ntsc制式的电视帧率是29.97帧每秒。我们常用的电脑也有刷新率，一般来说，电脑的刷新率要在75赫兹以上，人眼才不会觉得闪。

隔行扫描（interlace)和逐行扫描（progressive)
一般的电视上都是隔行扫描，而显示器都是逐行扫描。这里有一个场的概念，隔行扫描是一帧等于两场，而逐行扫描则是一帧就是一场。

码率
它的单位是   bit   per   second，一般所有描述带宽的概念，单位都是bit，描述存储容量的单位一般都是大b，也就是byte（字节）。

分辨率
图 像的分辨率指的是它的像素数，一般用得最多的是cif，也就是352*288，4cif自然就是指704*576，而d1的分辨率严格意义上是 720*576，大小来说和4cif差不多了。当然现在还有很多高清的分辨率，这些我不是太了解，大家感兴趣可以查一下。另外，国外很多时候，对cif的 高度取240，这是因为他们的帧率比我们高（29.97hz），自然，高度要小一些了。

实时与非实时
主要用来形容编码器，它含有两个意思，一个是要保证帧率，也就是每秒25帧，另一个是“live”的意思，意味着直播，所谓的“实况转播”的“实”。

延时
也是形容编码器的一个重要指标，一般来说，200ms到300ms人的感觉不会很明显，到了500毫秒的话，还是可以很明显感觉到的。

音视频同步
作为视频会议的应用，一般要求做到所谓的“唇同步”。基本的保证音视频同步的手段就是时间戳（time   stamp）。

复合视频和s-video
ntsc 和pal彩色视频信号是这样构成的--首先有一个基本的黑白视频信号，然后在每个水平同步脉冲之后，加入一个颜色脉冲和一个亮度信号。因为彩色信号是由多 种数据“叠加”起来的，故称之为“复合视频”。s-video则是一种信号质量更高的视频接口，它取消了信号叠加的方法，可有效避免一些无谓的质量损失。 它的   功能是将rgb三原色和亮度进行分离处理。

ntsc、pal和secam
基带视频是一种简单的模拟信号，由视频模 拟数据和视频同步数据构成，用于接收端正确地显示图像。信号的细节取决于应用的视频标准或者“制式”--ntsc（美国全国电视标准委员 会，national   television   standards   committee）、pal（逐行倒相，phase   alternate   line）以及secam（顺序传送与存储彩色电视系统，法国采用的一种电视制式，sequential   couleur   avec   memoire）。
中国的电视信号一般都是pal，而美日则是ntsc。这2个制式的帧率，图像尺寸都有所不同。

线数
我们在买摄像头的时候，经常会提到一个叫线数的概念，它其实就是分辨率中的高（height）。举个例子：pal制式的d1图像，线数就是576。

亮度、饱和度和对比度
英文名分别是：brightness、saturation和   contrast。这是三个表示图像的重要指标。

2.   音频的基本概念
采样率
音 频的采样率其实类似视频的帧率，意思是每秒钟采样的次数。g.711的采样率是8k（人的语音大概就在这个频率范围以内），而mp3支持的典型采样率是   44.1khz（超过人耳响应频率的2倍多一点——奈奎斯特定理）。很明显，mp3压缩的原始声音要比g.711好多了。

采样精度
就是每个采样进行模数转换时的量化系数。g.711是8bit采样精度，而mp3典型的是16bit。

回声消除
视 频会议应用中的音频最大问题。回声产生的原因很复杂，一般认为，在互联网中的语音传输，延时来源有三个：压缩延迟、分组传输延迟和处理延迟。语音压缩延迟 是产生回声的主要延迟，例如在g.723.1标准中，压缩一帧（30ms）的最大延迟是37.5ms。分组传输延迟也是一个很重要的来源，测试表明，端到 端的最大传输延迟可达250ms以上。处理延迟是指语音包的封装时延及其缓冲时延等。