转载之一文读懂rawRGB、RGB和YUV数据格式与转换

rawRGB     

        图像采集的过程为：光照在成像物体被反射 -> 镜头汇聚 -> Sensor光电转换-> ADC转换为rawRGB

因为sensor上每个像素只采集特定颜色的光的强度，因此sensor每个像素只能为R或G或B，形成的数据就成为了rawRGB数据。

         rawRGB数据是sensor的经过光电转换后通过ADC采样后直接输出数据，是未经处理过的数据，表示sensor接受到的各种光的强度。

         对于不同的sensor，在其内部形成的rawRGB数据格式也是有区别的。rawRGB数据排列格式有四种如下表（这里的格式是对于2*2像素矩阵而言的）：

 

        假设一个sensor的像素是8*8（分辨率为8*8），那么这个sensor就有8*8个感光点，每个感光点就是一个晶体管。那么对于上表中四种排列格式的rawRGB数据如下图所示：

        由上图可以看出，每一种格式的rawRGB数据的G分量都是B、R分量的两倍，是因为人眼对于绿色的更加敏感，所以加重了其在感光点的权重，增加了对绿色信息的采样。

         对于sensor输出的rawRGB数据，需要送到ISP（图像信号处理）中处理，得到RGB数据，一般采用插值处理。在进行ISP处理时，ISP需要知道sensor输出的rawRGB数据的顺序与大小，其中顺序一般通过配置ISP的pattern寄存器来实现，大小一般配置在ISP的输入格式控制寄存器中。

         那么，这里还有一个问题：在rawRGB数据中，每个像素只有R、G、B颜色三分量中一个分量，那么这一个分量用多少bit来表示呢？答案如下表：

        之所以有个rawRGB这种格式的数据，这样做的目的一般是为了降低感光器件的物理工艺难度，然后通过ISP处理还原出更真实的图像信息。

RGB

        在数字化的时代，需要一种标准来量化自然界的各种颜色。RGB就是一种在数字化领域表示颜色的标准，也称作一种色彩空间，通过用三原色R、G、B的不同的亮度值组合来表示某一种具体的颜色。注意，RGB里面存的是颜色的亮度值，而不是色度值。

        在实际应用中，RGB存在着许多的格式，之所以存在着这些格式，是因为随着技术的进步，系统的更迭，不同的应用场景和设备环境，对颜色表达的需求是不同的。

        常用的RGB格式如下表所示：

格式	描述
RGB565	1. 每个像素用16位表示，RGB分量分别使用5位、6位、5位。 2. 内存中排列（高字节->低字节）：R R R R R G G G G G G B B B B B
RGB555	1. 每个像素用16位表示，RGB分量都使用5位（剩下1位不用） 2. 内存中排列（高字节->低字节）：X R R R R G G G G G B B B B B（X表示不用，可以忽略）
RGB24（RGB888）	1. 每个像素用24位表示，RGB分量各使用8位。在内存中RGB各分量的排列顺序为：BGR BGR BGR ...... 2. 内存中排列（高字节->低字节）：B B B B B B B B G G G G G G G G R R R R R R R R
RGB32	1. 每个像素用32位表示，RGB分量各使用8位（剩下8位不用） 2. 内存中排列（高字节->低字节）：B B B B B B B B G G G G G G G G R R R R R R R R X X X X X X X X （X表示不用，可以忽略）
ARGB32	1. 每个像素用32位表示，RGB分量各使用8位（剩下的8位用于表示Alpha通道值） 2. 内存中排列（高字节->低字节）：B B B B B B B B G G G G G G G G R R R R R R R R A A A A A A A A

YUV

        YUV是一种色彩编码方法，Y表示亮度，U和V表示色度。只有Y就是黑白图像，再加上UV就是彩色图像了。YUV的一个好处就是让彩色系统和传统黑白系统很好的兼容，同时利用了人类视觉系统对亮度的敏感度比对色度高。

        在一般应用中，人们所说的YUV就是YCbCr，这我认为是从狭义的角度理解（毕竟现在是数字信号的天下，YCbCr恰好是描述数字信号的）。广义上说，YUV是一种色彩空间分类，一种颜色模型，具体的类型有Y'UV， YUV， YCbCr，YPbPr等，目前市场上常用数字的视频信号和视频/图片文件中的编码格式，用YCbCr来描述，于是人们口中的YUV就代指的是YCbCr，常见应用如H.264/H.265码流、MPEG、JPEG等。

        YCbCr中的Cb指蓝色色度分量，而Cr指红色色度分量。

        YUV和RGB的相同点：都是用来表达颜色的数学方法；

        YUV和RGB的相同点：对颜色的描述思路和方法不同。RGB将一个颜色拆解为3个纯色的亮度组合，YUV将一个颜色分解为一个亮度和2个色度的组合。

        那引入YUV这种色彩空间的好处具体有啥呢？

 1.   YUV提取Y亮度信号，可以直接给黑白电视使用，兼容黑白电视

 2.  人眼对UV的敏感性小于亮度，这样我们适当减少uv的量，而不影响人的感官。所以才会有多种格式的 YUV描述，如420、422、444。

3.  伴随显示设备分辨率的提升，bt组织也针对yuv2rgb设定了不同的系数，来最好的从YUV转换到RGB。

4.  YUV格式可以比RGB格式储存空间小。

        那RGB存在的作用是什么呢？

        目前人类发明的所有彩色的输入输出设备，本质上都只支持RGB数据。哪怕设备允许YUV的输入输出，那也是经过内部的数据转换而间接支持。

YUV采样

        主流采样方式有如下三种：

                   YUV 4:4:4 采样

                   YUV 4:2:2 采样

                   YUV 4:2:0 采样

        1.YUV 444 采样

        全采样，对每个像素点的的YUV分量都进行采样，这样的三个分量信息量完整。

        2. YUV 422 采样

        部分采样，可节省1/3存储空间和1/3的数据传输量。UV分量是Y分量采样的一半，Y分量和UV 分量按照2 : 1的比例采样。如果水平方向有10个像素点，那么采样了10个Y分量，而只采样了5个UV分量。其中，每采样过一个像素点，都会采样其Y分量，而U、V分量就会间隔一个采集一个。

        3.YUV 420 采样

        部分采样，可节省1/2存储空间和1/2的数据传输量。YUV 420采样，并不是指只采样U分量而不采样V分量。而是指，在每一行扫描时，只扫描一种色度分量（U或者V），和Y分量按照2 : 1的方式采样。比如，第一行扫描时，YU 按照 2 : 1的方式采样，那么第二行扫描时，YV分量按照 2:1的方式采样。对于每个色度分量来说，它的水平方向和竖直方向的采样和Y分量相比都是2:1 。

YUV存储格式

        YUV存储格式通常有两大类：打包（packed）格式和平面（planar）格式。前者将YUV分量存放在同一个数组中，通常是几个相邻的像素组成一个宏像素(macro-pixel)；而后者使用三个数组分开放 YUV 三个分量，就像是一个三维平面一样。

YUV422 Planar （YUV422P，也称为I422格式）

        这里，Y\U\V数据是分开存放的，每两个水平Y采样点，有一个U和一个V采样点，如下图：

        也就是说，U0V0由Y0、Y1共用，这样整幅图像较RGB就减少了1/3的存储空间。

        YUV 422P 格式，又叫做 I422格式，采用的是平面格式进行存储，先存储所有的 Y 分量，再存储所有的 U 分量，再存储所有的 V 分量。

        假如一个8*2像素的图像的该格式的存储分布如下图：

YUV422 packed

        此格式有两种情况：分为YUYV格式和UYVY格式。

        YUYV格式

               YUYV 格式是采用打包格式进行存储的，指每个像素点都采用 Y 分量，但是每隔一个像素采样它的UV分量。

               假如一个8*2像素的图像的该格式的存储分布如下图：

        UYVY格式

                UYVY 格式也是采用打包格式进行存储，它的顺序和YUYV相反，先采用U分量再采样Y分量。

                假如一个8*2像素的图像的该格式的存储分布如下图：

YUV420 Planar （YUV420P）

        这个格式跟YUV422 Planar 类似，但对于U和V的采样在水平和垂直方向都减少为2:1，根据采样规则如下图：

        也就是说，U0V0由Y0、Y1、YW、YW+1共用，这样整幅图像较RGB就减少了1/2的存储空间。

        YU12和YV12格式都属于YUV 420P类型，即先存储Y分量，再存储U、V 分量，区别在于：YU12是先Y再U后V，而YV12是先Y再V后U 。

        YU12格式（也称为I420格式）

                YU12是先Y再U后V。

                假如一个8*2像素的图像的该格式的存储分布如下图：

        YV12格式

                YV12是先Y再V后U

                假如一个8*2像素的图像的该格式的存储分布如下图：

YUV422 Semi-Planar （YUV422SP）

        Semi 是“半”的意思，个人理解这个是半平面模式，这个格式的数据量跟YUV422 Planar的一样，但是U、V是交叉存放的。                                              

        假如一个8*2像素的图像的该格式的存储分布如下图：

YUV420 Semi-Planar （YUV420SP）

        这个格式的数据量跟YUV420 Planar的一样，但是U、V是交叉存放的。

        NV12和NV21格式都属于 YUV420SP 类型。它也是先存储了Y分量，但接下来并不是再存储所有的U或者V分量，而是把UV分量交替连续存储。

        NV12

                NV12是IOS中有的模式，它的存储顺序是先存Y分量，再UV进行交替存储。

                假如一个8*2像素的图像的该格式的存储分布如下图：

        NV21

                NV21是安卓中有的模式，它的存储顺序是先存Y分量，在VU交替存储。

                假如一个8*2像素的图像的该格式的存储分布如下图：

RGB与YUV转换

        由于YUV有这数字信号和模拟信号的YUV类型，于是RGB与YUV转换方式多种多样，大致分为模拟和数字两种。每种方式下，不同的清晰度视频信号的转换公式也是有所不同。

        这里只讨论了数字信号的转换，数字RGB转YUV的推导公式为：

                                       (1)

                              (2)

                         (3)

                        (4)

        注意：(1)(2)(3)(4)公式中  的值如下表所示：

清晰度
BT601（标清国际定义）	0.299	0.587	0.114
BT709（高清）	0.2126	0.7152	0.0722
BT2020（超清）	0.2627	0.678	0.0593

这里仅仅列出数字YUV（YCbCr）与数字RGB相互转换的BT601(标清国际定义)的转换公式：