H264系列一 YUV、YCbCr与RGB

参考
YUV、YCbCr与RGB的区别
什么是4:4:4、4:2:2、4:2:0？了解图像压缩取样的方式
《H.264 and MPEG-4 Video Compression》 作者: Iain E. Richardson 译者: 欧阳合 / 韩军

一、RGB

RGB 是从颜色发光的原理来设计定的，通俗点说它的颜色混合方式就好像有红、绿、蓝三盏灯，当它们的光相互叠合的时候，色彩相混，而亮度却等于两者亮度之总和（两盏灯的亮度嘛！），越混合亮度越高，即加法混合。

二、YUV

YUV 主要用于优化彩色视频信号的传输，使其向后相容老式黑白电视。与 RGB 视频信号传输相比，它最大的优点在于只需占用极少的频宽（ RGB 要求三个独立的视频信号同时传输）。

YUV中“Y”表示明亮度（Luminance或Luma），也就是灰阶值；而“U”和“V” 表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图像就是黑白灰度图像。彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色电视信号。

三、YCbCr

YCbCr 其实是YUV经过缩放和偏移的翻版。其中Y与YUV 中的Y含义一致,Cb,Cr 同样都指色彩，只是在表示方法上不同而已。YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。可以参考下图对其进行理解：

image.png

Y亮度，是不同权重的RGB平均值：Y = Kr R+KgG+Kb*B(k为权重值)
Cb=B-Y
Cr=R-Y
Cg=G-Y

这样彩色图像的完整信息就由亮度Y和色差（Cb,Cr,Cg）给出了。至此相对于RGB并没有表现出明显优点，因为处理后有4个分量，而RGB只有3个分量。但是，因为Cb+Cr+Cg是一个常数，所以只需要存储或传输其中的两个，第三个可以计算出来，这样只需要传输YCbCr即可。至此算是平手，然而YCbCr另一个优点就是可以用比Y更低的分辨率来存储CbCr，因为人类视觉系统(HVS)对色度的敏感程度低于亮度。这样可以减少大量数据的同时对视觉质量没有明显的影响。对于普通观察者，RGB图像与YCbCr没有什么区别。所以这也是图像压缩中简单而有效的方式之一。

ITU-R推荐的BT.601中定义Kb=0.114,Kr=0.299,Kb+Kr+Kg=1。所以得到以下转换公式：
Y=0.299R+0.587G+0.114B
Cb=0.564(B-Y)
Cr=0.713(R-Y)
将RGB图像转换成YCbCr图像是为了减少存储或传输数量，在显示图像之前，还需要再转换成RGB。
R=Y+1.402Cr
G=Y-0.344Cb-0.714Cr
B=Y+1.772Cb

四、YCbCr采样格式

主要的采样格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。其中YCbCr 4:1:1 比较常用，其含义为：每个点保存一个 8bit 的亮度值（也就是Y值），每 2x2 个点保存一个 Cr 和Cb 值，图像在肉眼中的感觉不会起太大的变化。

(1)YUV 4:4:4
YUV三个信道的抽样率相同，因此在生成的图像里，每个象素的三个分量信息完整（每个分量通常8比特），经过8比特量化之后，未经压缩的每个像素占用3个字节。
下面的四个像素为： [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的码流为： Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3

(2)YUV 4:2:2
每个色差信道的抽样率是亮度信道的一半，所以水平方向的色度抽样率只是4:4:4的一半。对非压缩的8比特量化的图像来说，每个由两个水平方向相邻的像素组成的宏像素需要占用4字节内存。
下面的四个像素为： [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的码流为： Y0 U0 Y1 V1 Y2 U2 Y3 V3
映射出像素点为：[Y0 U0 V1] [Y1 U0 V1] [Y2 U2 V3] [Y3 U2 V3]

(3)YUV 4:1:1
4:1:1的色度抽样，是在水平方向上对色度进行4:1抽样。对于低端用户和消费类产品这仍然是可以接受的。对非压缩的8比特量化的视频来说，每个由4个水平方向相邻的像素组成的宏像素需要占用6字节内存
下面的四个像素为： [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的码流为： Y0 U0 Y1 Y2 V2 Y3
映射出像素点为：[Y0 U0 V2] [Y1 U0 V2] [Y2 U0 V2] [Y3 U0 V2]

(4)YUV4:2:0
4:2:0并不意味着只有Y,Cb而没有Cr分量。它指得是对每行扫描线来说，只有一种色度分量以2:1的抽样率存储。相邻的扫描行存储不同的色度分量，也就是说，如果一行是4:2:0的话，下一行就是4:0:2，再下一行是4:2:0...以此类推。对每个色度分量来说，水平方向和竖直方向的抽样率都是2:1，所以可以说色度的抽样率是4:1。对非压缩的8比特量化的视频来说，每个由2x2个2行2列相邻的像素组成的宏像素需要占用6字节内存。
下面八个像素为：[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3][Y5 U5 V5] [Y6 U6 V6] [Y7U7 V7] [Y8 U8 V8]
存放的码流为：Y0 U0 Y1 Y2 U2 Y3 Y5 V5 Y6 Y7 V7 Y8
映射出的像素点为：[Y0 U0 V5] [Y1 U0 V5] [Y2 U2 V7] [Y3 U2 V7][Y5 U0 V5] [Y6 U0 V5] [Y7U2 V7] [Y8 U2 V7]

色度信号分辨率最低的格式，也就是DVD所使用的格式，就是4:2:0了。事实上，4:2:0的意思是，色度采样在每条横向扫描线上只有亮度采样的一半，扫描线的条数上，也只有亮度的一半！换句话说，无论是横向还是纵向，色度信号的分辨率都只有亮度信号的一半。举个例子，如果整张画面的尺寸是720480，那么亮度信号是720480，色度信号只有360*240。在4:2:0中，“缺失”的色度采样不单单要由左右相邻的采样通过内插补点计算补充，整行的色度采样也要通过它上下两行的色度采样通过内插补点运算获得。这样做的原因是为了最经济有效地利用DVD的存储空间。诚然，4:4:4的效果很棒，但是如果要用4:4:4存储一部电影，我们的DVD盘的直径至少要有两英尺（六十多厘米）！

尽管从早期视频采样到现在，色度取样已经是一种简单有效的压缩技术，但是它会产生明显的失真。数字技术那是起也变得更复杂。不过取样只是简单的减少图像的色彩分辨率的宽度，现代数字编码能够分析图像内容然后决定如何优先处理细节。举例来说，现代数字采样，能够对低亮度、低饱和度以及细节度低的区域区别对待。消费者的眼光也变得更犀利，对图像质量的要求也越来越高。对于4:2:0压缩方式的DVD，蓝光碟成为了趋势。最后，在进行现代数字编码时，为其提供4:4:4采样的数据，能极大程度的改善编码后的图像质量。