音视频基础知识点

音频

• PCM：脉冲编码调制（Pulse Code Modulation）。通过采样、量化、编码将模拟信号转换为数字信号。根据奈奎斯特采样定理：为了不失真地恢复模拟信号，采样频率应该不小于模拟信号频谱中最高频率的2倍。
• 采样率：即采样的频率。因为采样率要大于原声波频率的2倍，而人耳能听到的最高频率为20kHz，所以为了满足人耳的听觉要求，采样率至少为40kHz，通常为44.1kHz，更高的通常为48kHz。
• 采样位数：波形振幅在模拟信号上也是连续的样本值，而在数字信号中，信号一般是不连续的，所以模拟信号量化以后，只能取一个近似的整数值，为了记录这些振幅值，采样器会采用一个固定的位数来记录这些振幅值，通常有8位、16位、32位。位数越多，记录的值越准确，还原度越高。
• 声道数：支持能不同发声（注意是不同声音）的音响的个数。
• 码率：即比特率，一个数据流中每秒钟能通过的信息量，单位bps（bit per second）。音频码率 = 采样率 采样位数 声道数

视频

• 分辨率：横向和纵向的像素数量，表示图像的精细程度。1080P 的 P 指 Progressive scan（逐行扫描），即垂直方向像素点，也就是 "高"，所以 1920 * 1080 叫 1080P， 不叫 1920P。
• 码率：概念同音频的码率。
• 帧率：单位时间内帧的数量，单位为：帧/秒 或fps（frames per second）。
• RGB：红、绿、蓝三原色。通过R G B三种基础色，可以混合出所有的颜色。

• YUV：一种亮度与色度分离的色彩格式。

  • Y：亮度，就是灰度值。除了表示亮度信号外，还含有较多的绿色通道量；
  • U：蓝色通道与亮度的差值；
  • V：红色通道与亮度的差值。

因为人眼对亮度敏感，对色度不敏感，所以减少部分UV的数据量，人眼是无法感知出来，这样可以通过压缩UV的分辨率，在不影响观感的前提下，减小视频的体积。

• RGB和YUV的换算：

  Y = 0.299R ＋ 0.587G ＋ 0.114B
  U = －0.147R － 0.289G ＋ 0.436B
  V = 0.615R － 0.515G － 0.100B
  ——————————————————
  R = Y ＋ 1.14V
  G = Y － 0.39U － 0.58V
  B = Y ＋ 2.03U