VideoToolBox H264 基础

一. 视频的原理

医学证明人类具有视觉暂留的特性,人的眼睛看到一幅画或一个物体后,在0.1-0.4秒内不会消失。所以利用这一原理,在一幅画还没有消失前播放下一幅画,就会给人造成一种流畅的视觉变化效果。而我们所谓的视频,其实就是利用人类视觉暂留的特性,用摄像机连续拍摄一系列画面,快速播放,给人一种连续的错觉。
这里的一张张画面,我们称其为
图像领域定义的FPS(Frames Per Second),即每秒传输帧数,就是每秒图片播放的数量。FPS越大,视频看起来就越流畅。

二. RGB 和 YUV

我们在计算机上看到的图像都是具有颜色信息的,那么计算机是如何存储和表示颜色信息呢?

1. RGB

RGB, 也就是红(Red)、绿(Green)、蓝(Blue),被称为光的三原色,也是计算机的三原色,通过不同的比例,可以组合成各种颜色。

三原色

计算机在使用RGB记录图像颜色信息时,会分别记录R/G/B三种颜色的亮度,并且相互叠加来实现具体颜色的显示,所以也被成为加色混色模型。

2. YUV

YUV, 起源于电视显像系统。
我们应该知道,早起的电视都是黑白的,没有颜色信息,所以只需要记录亮度即可。YUV中的Y就表示亮度。
随着电视的发展,诞生了彩色电视机。这个时候,单单记录亮度信息就不够了,人们就在黑白电视的基础上,增加了色度信息,也就是我们的UV,来实现彩色图像的显示,并且兼容黑白电视机。

U是指亮度Y与蓝色的色差。
V是指亮度Y与红色的色差。

YUV分层
  • YUV常用的采样
  • YUV 4:4:4:表示每1个Y,对应一组UV

  • YUV 4:2:2:表示每2个Y,对应一组UV;

  • YUV 4:2:0:表示每4个Y,对应义序UV

可以参考下图:

YUV采样
3. YUV 与 RGB
  • 存储

无论使用RGB还是YUV,它们的每一种分量值都是用0~255来表示。
计算机的一个字节有8位,使用二进制来存储,刚好可以表示0~255。

如果使用RGB来存储4个像素的颜色值的话,如下图,需要 8 * 3 * 4 = 96 Byte ,也就是12个字节。

RGB_存储

如果使用YUV 420,存储方式如下图,只需要 8 * 4 + 8 + 8 = 48 Byte, 也就是6个字节。

YUV420_存储

相比之下,YUV420RGB 整整生了一倍的存储空间。所以在视频中,大多会使用YUV420来进行采样。

二. 为什么要进行视频压缩

我们知道,视频是由一帧一帧的图像组成。
假设我们有一个视频,视频的每一帧图像尺寸为1280 * 720,FPS为30。

若采用RGB格式进行采样,不计算Alpha通道(透明度)的话,每秒视频的大小是 3 * 1280 * 720 * 30 = 8294400 字节,也就是81000KB,79.1M左右。

即便是采用YUV 420,也需要 1.5 * 1028 * 720 * 30 = 4147200 字节,即40500KB,39.5M左右。

而我们的视频动辄1~2个小时,那数据量无法想象。

所以,还需要进一步压缩,而H264就是目前最主流的压缩方式。

三. H264压缩原理

1. 帧内预测压缩

解决的是空域数据冗余问题。
空域数据就是一幅图像中存在的很多颜色、光亮等人的肉眼很难察觉的数据。
这部分数据,可以直接压缩。

2. 帧间预测压缩

解决的是时域数据冗余问题。
时域数据就是我们视频的一定时间内,我们每帧画面之间会存在大量的重复信息(如背景等),这部分数据称之为时域数据。这些数据也可以进行压缩。

3. 整数离散余弦变换(DCT)

将图像数据通过傅里叶变换,转化为若干正弦波。
若在频率上没有一致性,则将它们压缩

4. CABAC压缩(无损压缩)

四. H264基本概念

1. I帧(关键帧)

上面我们提到过,在一定的时间内,视频的每一帧之间的变化是很微小的。所以,我们一般会取第一帧数据作为关键帧,并采用帧内预测压缩。
后面的帧就可以参考关键帧来进行还原,所以关键帧非常重要。

2. P帧(向前参考帧)

我们有了I帧,后续的帧就会向前参考I帧,值存储于前一帧的差异,属于帧间预测压缩。

3. B帧(双向参考帧)

即参考前一帧,也参考后一帧。
但是由于B帧是双向参考,所以在实时性要求比较高的应用中,可以舍弃B帧

4. GOF(Group Of Frame)

是指从一个I帧到下一个I帧的一组帧,包括了P帧和B帧。如下图所示。

GOF

5. SPS/PPS

SPSPPSGOF的描述信息

  • SPS(Sequence Parameter Set)
    GOF的序列参数集,包含帧数、解码后图像的宽、解码后图像的高、参考帧数目等等信息。

  • PPS(Picture Parameter Set)
    GOF的图像参数集,包含熵编码模式、片组等与图像相关的信息。

解码时,在收到一组GOF前,我们会先收到SPSPPS数据,如果没有SPSPPS,我们的解码操作将无从下手。

五. H264 结构

H264结构

从图中我们可以看到,H264视频压缩后会形成一个视频序列,一个视频序列分为若干帧图像,一帧图像又分为若干,至少包含一个,一个分为若干宏块,一个宏块由若干子块组成。

  1. :视频的一帧可用来产生一个编码图像。

  2. 片(Slice):在每个图像中,若干个宏块被排列称的形式。
    片又分为I片B片P片和其他一些片。

    • I片值包含I宏块
    • P片可包含P宏块I宏块
    • B片可包含B宏块I宏块
    • I宏块利用当前中已解码的像素作为参考,进行帧内预测;
    • P宏块利用前面已解码的图像作为参考图像,进行帧内预测;
    • B宏块利用前一帧和后一帧的图像进行帧内预测;
    • 的目的是为了限制误码的扩散和传输,使编码相互间是独立的。某的预测不能以其他中的宏块作为参考图像,这样某一中的预测误差才不会传播到其他中去。
  3. 宏块(MacroBlock/MB):一个编码的图像通常划分为若干宏块组成,是H264编码的基本单位。

    一个宏块16*16YUV数据组成。

六. H264 编码分层

H264编码分为两层:

  1. NAL层(Networking Abstraction Layer)

    视频数据网络抽象层
    由于进行网络传输过程中,每一个以太网的数据包为1500字节,而H264的帧往往会大于1500字节。所以就需要将一个帧拆成多个包进行传输。NAL层就是处理所有的拆包或者组包任务的。

  2. VCL层(Video Coding Layer)

    视频数据编码层
    它的作用就是对视频的原始数据进行压缩。

七. NALU(NAL Unit)结构

NALU数据解析

上图说明了NALU的结构:

  • NALU由一个NALU头和一个切片组成;
  • 切片分为切片头切片数据
  • 切片数据由若干个宏块组成;
  • 宏块内部又有宏块的类型宏块的预测残差数据

八. H264码流分层结构图

H264码流结构.png

上图包含了很多知识点,我们编码和解码都可以参考这个图来进行。

  • A Annexb格式数据 : 就是起始码 + Nal Unit数据
  • 起始码 : H264采用EBSP:(Encapsulate Byte Sequence Payload)的码流,这种码流就是在生成压缩流后,在每一帧前加一个起始位,一般为16进制的0001。
  • NAL Unit : NALU头 + NALU数据
  • NALU 主体 : 是由切片组成.切片包括 切片头 + 切片数据
  • Slice数据: 宏块组成
  • PCM类 : 宏块类型 + pcm数据 或者 宏块类型 + 宏块预测 + 残差数据
  • Residual : 残差块

你可能感兴趣的:(VideoToolBox H264 基础)