【学习笔记】关于RAW图片的概念学习

这里是尼德兰的喵·芯片设计相关文章，欢迎您的访问！

如果文章对您有所帮助，期待您的点赞收藏！

让我们一起为成为芯片前端全栈工程师而努力！

前言

能为我介绍一下raw图片吗？

当谈论"Raw图片"时，通常指的是未经压缩和处理的图像数据，它包含了从图像传感器捕获的原始像素信息。Raw图片是相机直接获取的图像数据，没有经过任何图像处理或色彩编码。

主要特点和优势：

1. 无损数据：Raw图片是未经压缩的，因此它没有任何数据损失。相比于其他压缩格式（如JPEG），Raw图片保留了从图像传感器捕获的每个像素的原始信息，因此可以实现更高的图像质量。

2. 更大的动态范围：Raw图片通常具有较高的位深度，如12位或14位，这使得它们能够捕获更大的动态范围。这对于处理高对比度场景和后期图像编辑非常有用。

3. 更多的后期处理选择：由于Raw图片保留了原始的像素信息，它们在后期处理时提供更多的灵活性和选择。用户可以在计算机上使用专业图像处理软件对Raw图片进行各种调整和编辑，如白平衡、曝光补偿、色彩校正等，而这些操作在压缩图像上可能会导致质量损失。

4. 质量控制：拥有Raw图片使得摄影师和专业用户可以对图像质量有更多的控制，因为它们可以根据自己的需要对图像进行精细调整，而不依赖于相机内部的图像处理算法。

尽管Raw图片具有很多优势，但也有一些挑战。Raw图片通常较大，需要更大的存储空间，而且相机的连拍速度可能会受到限制。此外，由于每个相机制造商都可以定义自己的Raw格式，因此不同相机品牌的Raw图片可能需要特定的软件或驱动来解码和编辑。

raw图像如何转化为RGB格式？

将Raw图像转换为RGB格式涉及到一系列图像处理步骤，包括去马赛克（Demosaicing）、白平衡（White Balance）、伽马校正（Gamma Correction）等。这些步骤可以在计算机上使用图像处理软件或编程库进行。

以下是将Raw图像转换为RGB格式的一般步骤：

1. 去马赛克（Demosaicing）： Raw图像通常使用Bayer排列进行采样，其中红、绿、蓝三个颜色通道以不同的排列方式进行采样，形成一个马赛克图案。去马赛克是将这些马赛克图案还原成完整的RGB图像的过程。常见的去马赛克算法包括最近邻插值、双线性插值、双三次插值等。

2. 白平衡（White Balance）： 白平衡是调整图像的色温，使得白色在图像中看起来是白色而不是偏色的过程。这是因为不同光源的颜色温度不同，可能会导致图像呈现偏色。白平衡可以通过调整红、绿、蓝三个通道的增益来实现。

3. 伽马校正（Gamma Correction）： Raw图像中的像素值通常是线性的，而显示设备（如显示器）对图像的显示是非线性的。因此，需要进行伽马校正来将线性的像素值转换为适合显示的非线性值。

4. 色彩空间转换： 如果需要将图像从相机原生的色彩空间（如sRGB、AdobeRGB）转换为其他色彩空间（如sRGB、AdobeRGB），则需要进行色彩空间的转换。

需要注意的是，Raw图像的转换过程并不是简单的直接数学运算，而是涉及到对图像的复杂处理和算法。因此，常见的图像处理软件和编程库通常都提供了相关的功能来实现Raw图像到RGB格式的转换，使得这个过程变得相对容易。

RAW格式

经过各种查询知道，RAW图中每个像素都代表了一种颜色，一般情况下主要有这四种分布情况：

  那么一帧8*8的bayerGB格式的图像是啥样的呢？就是下面这个样的：

 RAW每个点只表现一种颜色的像素值，所以你看它转RGB时第一步就是去马赛克。那么下一个问题，为啥绿色像素点的数量是红色和蓝色的两倍呢？

在大多数传感器中，Raw图像中绿色像素点更多的原因与人类视觉系统和传感器技术有关。这涉及到Bayer排列（Bayer Pattern），它是一种在数字图像传感器上广泛使用的色彩滤波排列方式。

Bayer排列是一种将RGB三个颜色通道以不同的排列方式进行采样的方式，常见的Bayer排列模式为RGGB。在这种排列下，传感器中的像素以以下方式进行采样：

R	G
G	B

在这个4x4像素块中，绿色像素点占据了4个，而红色和蓝色像素点各占2个。因此，在Raw图像中，绿色像素点数量更多。

这样的排列方式有几个原因：

1. 人类视觉系统对绿色更敏感：人眼的视觉系统对绿色更敏感，因为我们的视网膜中有更多的绿色感光细胞。采用Bayer排列，使得图像传感器在绿色通道上具有更高的分辨率，可以更好地捕捉细节和颜色信息。

2. 降低噪点和增强分辨率：绿色像素点数量的增加可以降低图像的噪点水平，因为绿色通道通常有更高的信噪比。此外，绿色像素点更多也增强了图像的分辨率，因为对于每个4x4像素块，有四个绿色像素点用于捕捉细节。

虽然Raw图像中绿色像素点更多，但通过去马赛克（Demosaicing）的过程，可以还原出完整的RGB图像，其中每个像素点都有完整的红、绿、蓝三个颜色通道的信息。这使得Raw图像能够提供更高质量的图像数据，有助于后期处理和优化。

那么raw8 raw10 raw12等格式什么意思呢？就是每一个像素值的位宽。

不同的Raw图像格式（Raw8、Raw10、Raw12、Raw16等）在不同的应用场景中有着各自的优势和用途。以下是它们常见的应用场景：

1. Raw8（8位Raw）：

   • 主要特点：每个像素的位深度为8位，即256个灰度级。
   • 应用场景：Raw8是最常见的Raw图像格式之一，适用于对存储空间和传输带宽有限的应用。常见于普通的数码相机、网络摄像头、实时视频流传输等。

2. Raw10（10位Raw）：

   • 主要特点：每个像素的位深度为10位，即1024个灰度级。
   • 应用场景：Raw10提供了比Raw8更多的色彩深度，可以捕捉更多的图像细节和动态范围。常见于高端数码相机、专业摄影设备、一些工业视觉应用等，对图像质量要求较高的场景。

3. Raw12（12位Raw）：

   • 主要特点：每个像素的位深度为12位，即4096个灰度级。
   • 应用场景：Raw12提供了更高的色彩深度和更大的动态范围，能够捕捉更丰富的色彩细节和亮度层次。常见于专业摄影、高端图像处理、工业视觉领域等，对图像质量要求较高的场景。

4. Raw16（16位Raw）：

   • 主要特点：每个像素的位深度为16位，即65536个灰度级。
   • 应用场景：Raw16是最高位深度的Raw格式之一，提供了极高的色彩深度和动态范围，非常适用于对图像质量和精度要求极高的专业摄影、卫星影像、医学影像等领域。

最后一个问题，简单表示一下如何由raw图得到rgb图呢？比如下图中间的点只有一个G值，那么就可以根据上下两个红色插值得到中间的R，左右两个蓝色得到B（当然这只是一种算法）：

再如下面的情况，如何得到中间点的G和B值呢？G值可以通过上下左右四个G值计算得到，B值通过四个角的B值来获得。

当然了上文已经提到过，raw转rgb并不是一个简单的运算问题还包括很多其他的处理，这就是isp要做的事了~