第三章、视频基础知识

本章将讲解视频的基础知识（像素、RGB、分辨率等）、视频帧（图像）与显示器之间的关系。重点讲解YUV数据格式（如YUV4:4:4､YUV4:2:2､YUV4:2:0等），并让你掌握 YUV 与RGB 之间的转换以及视频未编码码流该如何计算。

图像的基本概念

图像：平时我们看到的视频是有一幅幅图像组成，而图像是由一个个像素组成，是二维图像用有限数字数值像素的表示。如图所示，当我们放大一个图像后，能明显看到一个个像素块。

 像素：由一个数字序列表示的图像中的一个最小单位。可以理解为一个二维数组的一个元素，其值大小表示灰度（强度）

分辨率：水平分辨率指的一幅图像的宽，垂直分辨率指的一幅图像的高。一般说的分辨率用水平分辨率（宽）X 垂直分辨率（高）表示。

图像深度：是指存储每个像素所用的位数，也用于量度图像的色彩分辨率。图像深度确定彩色图像的每个像素可能有的颜色[数，或者确定灰度图像的每个像素可能有的灰度级数.它决定了彩色图像中可出现的最多颜色数，或灰度图像中的最大灰度等级。

比如一幅单色图像,若每个像素有8位 ，则最大灰度数目为2^8 = 256。一幅彩色图像RGB3个分量的像素位数分别为4,4,2,则最大颜色数目为2^(4+4+2) = 1024, 就是说像素的深度为10位，每个像素可以是1024种颜色中的一种。

主要的颜色空间

RGB

人的眼睛是根据所看见的光的波长来识别颜色的。可见光谱中的大部分颜色可以由三种基本色光按不同的比例混合而成，这三种基本色光的颜色就是红（Red）、绿（Green）、蓝（Blue）三原色光。这三种光以相同的比例混合、且达到一定的强度，就呈现白色（白光）；若三种光的强度均为零，就是黑色（黑暗）。这就是加色法原理，加色法原理被广泛应用于电视机、监视器等主动发光的产品中。

每个像素都有红(R),绿(G),蓝(B)三个分量 1个像素点使用3个字节，位深度为24位 可表示256*256*256=16,77,216种颜色 24位真彩色。

常见的RGB的存储包含如下：

1. RGB16：每像素占2字节，R、G、B分别用5bit，6 bit，5 bit表示。

2. RGB24：每像素占3字节，R、G、B各占一字节。

3. RGB32：每像素占4字节，A（Alpha）、R、G、B各占一字节。

RGB24的一张 1920 * 1280 大小的图片，就占用 1920 * 1280 * 3 / 1024 / 1024 = 7.03MB 存储空间。

YCbCr色彩空间

节选自参考文献1

人类视觉系统（HVS）对色度的敏感程度低于亮度。而在RGB色彩空间里，3种颜色分量的重要性相同，所以也必须以相同的度量来存储它们，但实际上我们可以通过提高亮度的精度，降低色度的精度来有效地表示颜色图像。

YCbCr或Y'CbCr有的时候会被写作：YCBCR或是Y'CBCR，是色彩空间的一种，通常会用于影片中的影像连续处理，或是数字摄影系统中。Y'和Y是不同的，Y就是所谓的流明（luminance），Y'表示光的浓度且为非线性，使用伽马修正（gamma correction）编码处理，而CB和CR则为蓝色和红色的浓度偏移量成分。

Y'CbCr不是一种绝对的色彩空间，是一种针对RGB资讯所做的编码。真正的颜色显示是根据实际RGB色盘（colorant）来决定的。因此Y'CbCr所表示的值只有在标准RGB色盘或是ICC数据（ICC profile）有提供的时候才能计算。

YCbCr不是一种绝对色彩空间，是YUV压缩和偏移的版本。YCbCr的Y与YUV中的Y含义一致，Cb和Cr与UV同样都指色彩，Cb指蓝色色度，Cr指红色色度，在应用上很广泛，JPEG、MPEG、DVD、摄影机、数字电视等皆采此一格式。因此一般俗称的YUV大多是指YCbCr。

YUV 采样格式

节选自参考文献2

YUV 图像的主流采样方式有如下三种：

• YUV 4:4:4 采样

• YUV 4:2:2 采样

• YUV 4:2:0 采样

YUV 4:4:4

YUV 4:4:4 表示 Y、U、V 三分量采样率相同，即每个像素的三分量信息完整，都是 8bit，每个像素占用 3 个字节。如下图所示：

其中，Y 分量用叉表示，UV 分量用圆圈表示。

四个像素为： [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
采样的码流为： Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3
映射出的像素点为：[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]

可以看到这种采样方式与 RGB 图像大小是一样的，并没有达到节省带宽的目的，当将 RGB 图像转换为 YUV 图像时，也是先转换为 YUV 4:4:4 采样的图像。

YUV 4:2:2

YUV 4:2:2 表示 UV 分量的采样率是 Y 分量的一半。每两个Y共用一组UV分量。每个像素占用 2 个字节。如下图所示：

其中，Y 分量用叉表示，UV 分量用圆圈表示。

四个像素为： [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
采样的码流为： Y0 U0 Y1 V1 Y2 U2 Y3 U3
其中，每采样过一个像素点，都会采样其 Y 分量，而 U、V 分量就会间隔一个采集一个。
映射出的像素点为：[Y0 U0 V1]、[Y1 U0 V1]、[Y2 U2 V3]、[Y3 U2 V3]

映射为像素点时，第一个像素点和第二个像素点共用了 U0、V1 分量，第三和第四个像素点公用了 U2、V3 分量，以此类推。从而节省了图像空间。

比如一张 1920 * 1280 大小的图片，采用 YUV 4:2:2 采样时的大小为：

(1920 * 1280 * 8 + 1920 * 1280 * 0.5 * 8 * 2 ) / 8 / 1024 / 1024 = 4.68M

可以看出，比 RGB 节省了三分之一的存储空间。

YUV 4:2:0

YUV 4:2:0 采样，并不是指只采样 U 分量而不采样 V 分量。而是指，在每一行扫描时，只扫描一种色度分量（U 或者 V），和 Y 分量按照 2 : 1 的方式采样。。也就是说，如果第一行是 4:2:0，下一行就是 4:0:2，在下一行就是 4:2:0，以此类推。每四个Y共用一组UV分量。每个像素占用 12 个比特。如下图所示：

 其中，Y 分量用叉表示，UV 分量用圆圈表示。

假设第一行扫描了 U 分量，第二行扫描了 V 分量，那么需要扫描两行才能够组成完整的 UV 分量。

图像像素为：
[Y0 U0 V0]、[Y1 U1 V1]、 [Y2 U2 V2]、 [Y3 U3 V3]
[Y5 U5 V5]、[Y6 U6 V6]、 [Y7 U7 V7] 、[Y8 U8 V8]

采样的码流为：
Y0 U0 Y1 Y2 U2 Y3
Y5 V5 Y6 Y7 V7 Y8

其中，每采样过一个像素点，都会采样其 Y 分量，而 U、V 分量就会间隔一行按照 2 : 1 进行采样。

映射出的像素点为：
[Y0 U0 V5]、[Y1 U0 V5]、[Y2 U2 V7]、[Y3 U2 V7]
[Y5 U0 V5]、[Y6 U0 V5]、[Y7 U2 V7]、[Y8 U2 V7]

从映射出的像素点中可以看到，四个 Y 分量是共用了一套 UV 分量，而且是按照 2*2 的小方格的形式分布的，相比 YUV 4:2:2 采样中两个 Y 分量共用一套 UV 分量，这样更能够节省空间。

一张 1920 * 1280 大小的图片，采用 YUV 4:2:0 采样时的大小为：

(1920 * 1280 * 8 + 1920 * 1280 * 0.25 * 8 * 2 ) / 8 / 1024 / 1024 = 3.51M

可以看到 YUV 4:2:0 采样的图像比 RGB 模型图像节省了一半的存储空间，因此它也是比较主流的采样方式。

YUV 存储格式

说完了采样，接下来就是如何把采样的数据存储起来。

YUV 的存储格式，有两种：

• planar 平面格式
  • 指先连续存储所有像素点的 Y 分量，然后存储 U 分量，最后是 V 分量。

• packed 打包模式
  • 指每个像素点的 Y、U、V 分量是连续交替存储的。

根据采样方式和存储格式的不同，就有了多种 YUV 格式。这些格式主要是基于 YUV 4:2:2 和 YUV 4:2:0 采样。

基于 YUV 4:2:2 采样的格式

YUV 4:2:2 采样规定了 Y 和 UV 分量按照 2: 1 的比例采样，两个 Y 分量公用一组 UV 分量。

YUYV 格式

YUYV 格式是采用打包格式进行存储的，指每个像素点都采用 Y 分量，但是每隔一个像素采样它的 UV 分量，排列顺序如下：

Y0 UO Y1 V0 Y2 U2 Y3 V2

Y0 和 Y1 公用 U0 V0 分量，Y2 和 Y3 公用 U2 V2 分量….

UYVY 格式

UYVY 格式也是采用打包格式进行存储，它的顺序和 YUYV 相反，先采用 U 分量再采样 Y 分量，排列顺序如下：

U0 Y0 V0 Y1 U2 Y2 V2 Y3

Y0 和 Y1 公用 U0 V0 分量，Y2 和 Y3 公用 U2 V2 分量….

根据 UV 和 Y 的顺序还有其他格式，比如，YVYU 格式，VYUY 格式等等，原理大致一样了。

YUV 422P 格式

YUV 422P 格式，又叫做 I422，采用的是平面格式进行存储，先存储所有的 Y 分量，再存储所有的 U 分量，再存储所有的 V 分量。

基于 YUV 4:2:0 采样的格式

基于 YUV 4:2:0 采样的格式主要有 YUV 420P 和 YUV 420SP 两种类型，每个类型又对应其他具体格式。

• YUV 420P 类型
  • YU12 格式

• YV12 格式

• YUV 420SP 类型
  • NV12 格式

• NV21 格式

YUV 420P 和 YUV 420SP 都是基于 Planar 平面模式 进行存储的，先存储所有的 Y 分量后， YUV420P 类型就会先存储所有的 U 分量或者 V 分量，而 YUV420SP 则是按照 UV 或者 VU 的交替顺序进行存储了，具体查看看下图：

YUV420SP 的格式：

 

YUV420P 的格式：

 

YU12 和 YV12 格式

YU12 和 YV12 格式都属于 YUV 420P 类型，即先存储 Y 分量，再存储 U、V 分量，区别在于：YU12 是先 Y 再 U 后 V，而 YV12 是先 Y 再 V 后 U 。

YV 12 的存储格式如下图所示：

 

YU 12 又称作 I420 格式，它的存储格式就是把 V 和 U 反过来了。

NV12 和 NV21 格式

NV12 和 NV21 格式都属于 YUV420SP 类型。它也是先存储了 Y 分量，但接下来并不是再存储所有的 U 或者 V 分量，而是把 UV 分量交替连续存储。

NV12 是IOS中有的模式，它的存储顺序是先存 Y 分量，再 UV 进行交替存储。

 NV21 是安卓中有的模式，它的存储顺序是先存 Y 分量，在 VU 交替存储。

参考文献

[1] 维基百科-YCbCr

[2] 一文读懂 YUV 的采样与格式

[3] 音视频开发入门：视频基础

[4] Colour Space Conversions.