VideoToolBox H264 基础

一. 视频的原理

医学证明人类具有视觉暂留的特性，人的眼睛看到一幅画或一个物体后，在0.1-0.4秒内不会消失。所以利用这一原理，在一幅画还没有消失前播放下一幅画，就会给人造成一种流畅的视觉变化效果。而我们所谓的视频，其实就是利用人类视觉暂留的特性，用摄像机连续拍摄一系列画面，快速播放，给人一种连续的错觉。
这里的一张张画面，我们称其为帧。
图像领域定义的FPS(Frames Per Second)，即每秒传输帧数，就是每秒图片播放的数量。FPS越大，视频看起来就越流畅。

二. RGB 和 YUV

我们在计算机上看到的图像都是具有颜色信息的，那么计算机是如何存储和表示颜色信息呢？

1. RGB

RGB， 也就是红（Red）、绿（Green）、蓝（Blue），被称为光的三原色，也是计算机的三原色，通过不同的比例，可以组合成各种颜色。

三原色

计算机在使用RGB记录图像颜色信息时，会分别记录R/G/B三种颜色的亮度，并且相互叠加来实现具体颜色的显示，所以也被成为加色混色模型。

2. YUV

YUV， 起源于电视显像系统。
我们应该知道，早起的电视都是黑白的，没有颜色信息，所以只需要记录亮度即可。YUV中的Y就表示亮度。
随着电视的发展，诞生了彩色电视机。这个时候，单单记录亮度信息就不够了，人们就在黑白电视的基础上，增加了色度信息，也就是我们的UV，来实现彩色图像的显示，并且兼容黑白电视机。

U是指亮度Y与蓝色的色差。
V是指亮度Y与红色的色差。

YUV分层

• YUV常用的采样

• YUV 4:4:4：表示每1个Y，对应一组UV；

• YUV 4:2:2：表示每2个Y，对应一组UV;

• YUV 4:2:0：表示每4个Y，对应义序UV。

可以参考下图：

YUV采样

3. YUV 与 RGB

• 存储

无论使用RGB还是YUV，它们的每一种分量值都是用0~255来表示。
计算机的一个字节有8位，使用二进制来存储，刚好可以表示0~255。

如果使用RGB来存储4个像素的颜色值的话，如下图，需要 8 * 3 * 4 = 96 Byte ，也就是12个字节。

RGB_存储

如果使用YUV 420，存储方式如下图，只需要 8 * 4 + 8 + 8 = 48 Byte， 也就是6个字节。

YUV420_存储

相比之下，YUV420 比 RGB 整整生了一倍的存储空间。所以在视频中，大多会使用YUV420来进行采样。

二. 为什么要进行视频压缩

我们知道，视频是由一帧一帧的图像组成。
假设我们有一个视频，视频的每一帧图像尺寸为1280 * 720，FPS为30。

若采用RGB格式进行采样，不计算Alpha通道（透明度）的话，每秒视频的大小是 3 * 1280 * 720 * 30 = 8294400 字节，也就是81000KB，79.1M左右。

即便是采用YUV 420,也需要 1.5 * 1028 * 720 * 30 = 4147200 字节，即40500KB，39.5M左右。

而我们的视频动辄1~2个小时，那数据量无法想象。

所以，还需要进一步压缩，而H264就是目前最主流的压缩方式。

三. H264压缩原理

1. 帧内预测压缩

解决的是空域数据冗余问题。
空域数据就是一幅图像中存在的很多颜色、光亮等人的肉眼很难察觉的数据。
这部分数据，可以直接压缩。

2. 帧间预测压缩

解决的是时域数据冗余问题。
时域数据就是我们视频的一定时间内，我们每帧画面之间会存在大量的重复信息（如背景等），这部分数据称之为时域数据。这些数据也可以进行压缩。

3. 整数离散余弦变换（DCT）

将图像数据通过傅里叶变换，转化为若干正弦波。
若在频率上没有一致性，则将它们压缩

4. CABAC压缩（无损压缩）

四. H264基本概念

1. I帧（关键帧）

上面我们提到过，在一定的时间内，视频的每一帧之间的变化是很微小的。所以，我们一般会取第一帧数据作为关键帧，并采用帧内预测压缩。
后面的帧就可以参考关键帧来进行还原，所以关键帧非常重要。

2. P帧（向前参考帧）

我们有了I帧，后续的帧就会向前参考I帧，值存储于前一帧的差异，属于帧间预测压缩。

3. B帧（双向参考帧）

即参考前一帧，也参考后一帧。
但是由于B帧是双向参考，所以在实时性要求比较高的应用中，可以舍弃B帧。

4. GOF（Group Of Frame）

是指从一个I帧到下一个I帧的一组帧，包括了P帧和B帧。如下图所示。

GOF

5. SPS/PPS

SPS和PPS是GOF的描述信息

• SPS（Sequence Parameter Set）
  GOF的序列参数集，包含帧数、解码后图像的宽、解码后图像的高、参考帧数目等等信息。

• PPS（Picture Parameter Set）
  GOF的图像参数集，包含熵编码模式、片组等与图像相关的信息。

解码时，在收到一组GOF前，我们会先收到SPS和PPS数据，如果没有SPS和PPS，我们的解码操作将无从下手。

五. H264 结构

H264结构

从图中我们可以看到，H264视频压缩后会形成一个视频序列，一个视频序列分为若干帧图像，一帧图像又分为若干片，至少包含一个片，一个片分为若干宏块，一个宏块由若干子块组成。

1. 帧:视频的一帧可用来产生一个编码图像。

2. 片(Slice):在每个图像中，若干个宏块被排列称片的形式。
   片又分为I片、B片、P片和其他一些片。

   • I片值包含I宏块；
   • P片可包含P宏块和I宏块；
   • B片可包含B宏块和I宏块；
   • I宏块利用当前片中已解码的像素作为参考，进行帧内预测；
   • P宏块利用前面已解码的图像作为参考图像，进行帧内预测；
   • B宏块利用前一帧和后一帧的图像进行帧内预测；
   • 片的目的是为了限制误码的扩散和传输，使编码片相互间是独立的。某片的预测不能以其他片中的宏块作为参考图像，这样某一片中的预测误差才不会传播到其他片中去。

3. 宏块(MacroBlock/MB):一个编码的图像通常划分为若干宏块组成，是H264编码的基本单位。

   一个宏块由16*16的YUV数据组成。

六. H264 编码分层

H264编码分为两层：

1. NAL层(Networking Abstraction Layer)

   视频数据网络抽象层。
   由于进行网络传输过程中，每一个以太网的数据包为1500字节，而H264的帧往往会大于1500字节。所以就需要将一个帧拆成多个包进行传输。NAL层就是处理所有的拆包或者组包任务的。

2. VCL层(Video Coding Layer)

   视频数据编码层。
   它的作用就是对视频的原始数据进行压缩。

七. NALU(NAL Unit)结构

NALU数据解析

上图说明了NALU的结构:

• NALU由一个NALU头和一个切片组成；
• 切片分为切片头和切片数据；
• 切片数据由若干个宏块组成；
• 宏块内部又有宏块的类型、宏块的预测、残差数据。

八. H264码流分层结构图

H264码流结构.png

上图包含了很多知识点，我们编码和解码都可以参考这个图来进行。

• A Annexb格式数据 : 就是起始码 + Nal Unit数据
• 起始码 : H264采用EBSP:(Encapsulate Byte Sequence Payload)的码流，这种码流就是在生成压缩流后，在每一帧前加一个起始位，一般为16进制的0001。
• NAL Unit : NALU头 + NALU数据
• NALU 主体 : 是由切片组成.切片包括 切片头 + 切片数据
• Slice数据: 宏块组成
• PCM类 : 宏块类型 + pcm数据 或者 宏块类型 + 宏块预测 + 残差数据
• Residual : 残差块