iOS音视频---音视频基础总结

一、音视频播放原理

雷霄骅雷神的[总结]视音频编解码技术零基础学习方法

音视频知识小结

如图所示，视频播放器播放一个互联网上的视频文件，需要经过以下几个步骤：解协议，解封装，解码视音频，视音频同。如果播放本地文件则不需要解协议，为以下几个步骤：解封装，解码视音频，视音频同步

也就是分为四层：

• 协议层（Protocol Layer）：该层处理的数据为符合特定流媒体协议规范的数据，例如http，rtmp，file,hls等
  iOS音视频--视频协议

• 封装层（Format Layer）：该层处理的数据为符合特定封装格式规范的数据，例如mkv，mp4，flv，mpegts，avi等

• 编码层（Codec Layer）：该层处理的数据为符合特定编码标准规范的数据，例如h264，h265，mpeg2，mpeg4等

• 像素层（Pixel Layer）：该层处理的数据为符合特定像素格式规范的数据，例如yuv420p，yuv422p，yuv444p，rgb24等

二、图像的数值表示

视频是由一幅幅图像组成的，首先来看图像的相关概念

1、RGB表示方式

任何一个图像都可以RGB组成，即三原色红（Red）、绿（Green）、蓝（Blue），等量的三原色光相加会组成白光
那么一个像素点的RGB该如何表示呢？

• 浮点表示：取值范围为0.0-1.0
• 整数表示：取值范围为0-255，或00-FF，8个比特表示一个子像素，RGBA共32个比特表示一个像素

一张1280x720的RGBA_8888图像大小：

• 1280 x 720 x 4 = 3.516MB

这也是位图（bitmap）在内存中所占的大小，即每张图的裸数据是很大的，所以就有了图像的压缩格式，比如JPEG压缩（有损压缩）
但是视频的压缩不能直接用这种压缩，因为视频有时域因素，不仅仅要考虑这种帧内编码，还要考虑帧间编码

2、YUV表示方式

事实上，对于视频帧的裸数据表示，更多是YUV数据格式的表示，YUV主要应用于优化彩色视频信号的传输。与RGB视频信号传输相比，它最大的优点在于只需要占用极少的频宽（RGB要求三个独立的视频信号同时传输）。

• “U”和“V”表示色度，用于指定像素的颜色，描述色彩与饱和度，，分别用Cr与Cb表示。其中Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异，而Cb则反映了RGB输入信号蓝色部分与RGB信号亮度值之间的差异

  
  
  

• “Y”表示明亮度，也称灰阶值，是透过RGB输入信号来建立的，方法是将RGB信号的特定部分叠加到一起。

  
  
  

之所以采用YUV，是因为它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V信号分量，那么表示出来的图像就是黑白灰度图像。最常用的表示形式是Y、U、V都是用8个字节表示，取值范围就是0-255
YUV的表示法称为A:B:C表示法：

• 4:4:4表示完全取样，每一个Y对应一组UV分量。
• 4:2:2表示2:1的水平取样，垂直完全采样，每两个Y共用一组UV分量。
• 4:2:0表示2:1的水平取样，垂直2：1采样，每四个Y共用一组UV分量。

YUV最常用的采样格式是4:2:0，即YUV420P，这并不意味着只有Y、Cb而没有Cr，指的是对每行扫描线来说，只有一种色度分量是以2:1的抽样率来存储的。也就是说，如果某一行是4:2:0，那么下一行就是4:0:2，再下一行是4:2:0，以此类推

相较于RGB，用YUV420P格式来表示一帧为1280x720的视频帧，其数据量大小为：

• 1280 x 720 x 1 + 1280 x 720 x 0.5 = 1.318MB

如果fps（1s的视频帧数目）是24，一部90分钟的用YUV420P格式的电影，其数据量大小：

• 1.318MB * 24fps * 90min * 60s = 166.8GB

这显然太大了

三、视频编码

1、视频编码方式

与音频编码类似，视频压缩也是通过去除冗余信息来进行压缩的。而相较于音频数据，视频数据有极强的相关性，有着大量的冗余信息，包括空间和时间上的冗余信息
使用帧间编码技术可以去除时间上的冗余信息：

• 运动补偿：通过先前的局部图像来预测、补偿当前的局部图像，是减少帧序列冗余信息的有效方法

• 运动表示: 不同区域的图像需要使用不同的运动矢量来描述运动信息

• 运动估计: 从视频序列中抽取运动信息

而使用帧内编码技术可以去除空间上的冗余信息。
相较于图像编码标准JPEG，MPEG是适用于动态视频的压缩算法，除了对单幅图像进行编码外，还利用图像序列中的相关原则去除冗余，可以大大提升视频的压缩比

2、IPB帧

• I帧：关键帧（key frame），帧内编码帧，I帧通常是每个GOP（MPEG所使用的一种视频压缩技术）的第一个帧，经过适度地压缩，可当作静态图像。I帧可以看作一个图像经过压缩后的产物，I帧压缩可以得到6:1的压缩比而不会产生任何可以察觉的模糊现象。I帧压缩可去掉视频的空间冗余信息
• P帧：前向预测编码帧，通过将图像序列中前面已编码帧的时间冗余信息充分去除来压缩传输数据量的编码图像，也称为前向预测帧
• B帧：双向预测内插编码帧。既考虑源图像序列前面的已编码帧，又顾及源图像序列后面的已编码帧之间的时间冗余信息，来压缩传输数据量的编码图像，也称为双向预测帧

简单来说

• I帧可以通过视频解压算法解压成一张单独的完整视频画面，所以I帧去掉的是视频帧在空间纬度上的冗余信息
• P帧需参考其前面的一个I帧或者P帧来解码成一张完整的视频画面
• B帧则需要参考其前面一个I帧或者P帧及其后面的一个P帧来生成一张完整的视频画面
  所以P帧和B帧去除的是视频帧在时间纬度上的冗余信息

• 另外，在H.264的概念中有一个帧成为IDR帧，IDR帧是一种特殊的I帧。H264采用了多帧预测，所以I帧之后的P帧可能会参考I帧之前的帧，而IDR帧之后的所有参考帧只会参考到这个IDR帧，而不会再参考前面的帧。在解码时，一旦收到一个IDR帧，就会立即清理DPB（DecodedPictureBuffer 参考帧列表），并将IDR帧作为被参考的帧
  对于IDR帧来说，在IDR帧之后的所有帧都不能引用任何IDR帧之前的帧的内容，与此相反，对于普通的I帧来说，位于其之后的B和P帧可以引用位于普通I帧之前的I帧。从随机存取的视频流中，播放器永远可以从一个IDR帧播放

3、GOP

两个I帧之间形成的一组图片，就是GOP的概念。通常在为编码器设置参数的时候，必须要设置gop_size的值，代表两个I帧之间的帧数目。一个GOP中最大的帧就是I帧，gop_size越大，画面就越好
通常来说，I帧的压缩比是7（与JPG差不多），P是20，而B则是50，所以，多使用B帧可以节省大量空间，节省出来的空间可以用来更多保存I帧，在相同的码率下提供更好的画质，从而提升视频质量。但B帧压缩率高，解码复杂，直播中较少用

4、IPB 编码顺序

如图，在一个GOP中

• 编码顺序/解码顺序: 纵向，I PBBB PBBB PBBB I
• 显示顺序: 横向，I BBBP BBBP BBBP I

由于P帧需参考其前面的一个I帧或者P帧，而B帧则需要参考其前面一个I帧或者P帧及其后面的一个P帧，即P帧不参考B帧，而B帧会参考P帧，所以在通常的场景中，编解码器编码一个I帧，然后向前跳过几个帧，用编码I帧作为基准帧对一个未来P帧进行编码，然后跳回到I帧之后的下一个帧。编码的I帧和P帧之间的帧被编码为B帧。之后，编码器会再次跳过几个帧，使用第一个P帧作为基准帧编码另外一个P帧，然后再次跳回，用B帧填充显示序列中的空隙。这个过程不断继续。

5、PTS与DTS

• PTS（Presentation Time Stamp）

显示时间戳。在解码阶段进行视频的同步和输出

• DTS（Decoding Time Stamp）
  解码时间戳。用于视频的解码

在没有B帧的情况下，PTS和DTS的输出顺序是一致的。
如果存在B帧，则DTS是按照上边说的编码顺序显示，而PTS按显示顺序显示。
而事实上，在大多数编码标准（如H.264或HEVC）中，编码顺序和显示顺序并不一致，于是才会需要PTS和DTS这两种不同的时间戳