彩色滤镜阵列CFA与Bayer滤镜

彩色滤镜阵列（CFA）

在彩色光电摄影中，可以通过分光，使用三个传感器分别捕获红、绿、蓝三个通道的颜色分量。但为了降低成本，绝大部分成像系统中采用单芯片 CMOS、CCD 传感器结合彩色滤镜阵列(Color Fiter Array，CFA)的方式捕获彩色图像，虽然牺牲了物理分辨率，但显著简化了结构，降低了价格。做法是在每个感光像素的上面覆盖一个与物理像素相同面积大小，但分别只让红、绿、蓝光线透过的滤镜。

CFA阵列结构有许多种，它们不同的地方是 RGB 排列方式和各个颜色成分所占的比例不同，其中 CFA 中最流行的是被称为 Bayer(贝尔)模式的彩色滤镜阵列。

下图所示是 Bryce Bayer 于 1976 年发明并注册的专利：Bayer 格式彩色镜阵列。现如今被广泛运用于数码相机、摄像机和手机摄像头中，是实现单片 CCD 或 CMOS 传感器拍摄彩色图像的主要技术之一。

Bayer 阵列原理

Bayer 阵列模拟人眼对色彩的敏感程度，采用1红2绿1蓝的排列方式将灰度信息转换成彩色信息。其本质就是一个马赛克一样的滤镜以相机感光器像元为单位进行覆盖。Bayer 滤镜如下图所示是一组以屡屡蓝红为单位重复的一个阵列。加盖了Bayer 阵列的数码相机能够成彩色像的原因是使用四个像素的信息，靠推断相邻像素的信息而获得最终的彩色成像。

当镜头成像到达传感器穿过 Bayer 滤镜后，每个像素就会过滤得到独立的 RGB 像素。但是因为传感器本质是黑白传感器，所以出来的数据依然是只有深度的灰度数据，只是因为存在 Bayer 滤镜的原因图像会像是有马赛克一样。那么如何得到每个物理像素位置处的 RGB 通道分量并去除马赛克?

debayer 转色算法（去马赛克算法）

在拍摄照片后，传感器的这一组深度数据有两种输出途径：一种是通过机内处理输出jpg图像；另一种是将原始数据打包成raw格式。机内处理传感器出来的是黑白图像，如果按照拜耳滤镜给每个像素匹配颜色。这样每个像素都只有孤立的RGB其中一个。如果把四个像素合并成一个就能得到RGB彩色的像素，最终就能得到彩色图像。但是这样像素就变少了很多。

因为每一个像素仅仅包括了光谱的一部分，必须通过插值来实现每个像素的 RGB 值。为了从 Bayer 格式得到每个像素的 RGB 格式，需要通过插值填补缺失的两个色彩通道分量。如图所示，反马赛克算法需要利用特定插值计算，根据每个像素旁边像素的红、绿、蓝通道值，通过加权平均，插值算出每个像素点缺失的颜色通道取值，获得最终图像。插值的方法有很多，典型的如邻域、线性、3X3 插值等，在具体方案中，通过速度与质量的权衡决定最终采用哪种。不同的插值补偿算法差异取决于参与插值的邻近像素的数目和各自权重。

这些将彩色传感器的黑白数据变成彩色的算法就叫 debayer 转色算法（或者去马赛克转色算法）。

这种重建影像通常会在颜色均匀的区域表现精确，但分辨率（细节与锐度）会有一些损失，也会有边缘噪声。下图描述了该算法的重建过程，相较原图，信息会有一定的损失。

1. 原始图

2. 从120x80像素的拜尔滤色镜所获得的成像

3. 拜尔滤色的色彩编码输出结果

4. 内插法重构的影像会丢失一些色彩信息
   
   

RAW 文件

RAW文件有时被错误地描述为“数字底片”，但它们既不是底片，未经处理的文件也不构成可见图像。相反，RAW数据集更像是曝光但未显影的胶片，可以以可观察、可逆转的步骤进行多次非破坏性的转换（电子显影），以达到视觉上期望的图像。（使用曝光的胶片时，显影是一次性的事件，会在物理上不可逆转地转换未曝光的胶片。）

与未显影的摄影胶片类似，RAW数字图像可能具有比已显影的胶片或印刷品更宽的动态范围或色彩范围。与显影后的物理胶片不同，RAW文件保留了曝光时捕获的信息。RAW图像格式的目的是以最少的信息损失保存从传感器获得的数据。RAW图像格式旨在捕捉场景的辐射特性，即场景的光强度和颜色的物理信息，以达到相机传感器性能的最佳状态。大多数RAW图像文件格式存储感应信息，根据传感器的单个光感元素（有时称为像素）的几何形状，而不是预期的最终图像中的点：例如，具有六边形元素位移的传感器记录每个六边形位移单元的信息，解码软件最终会在“数字显影”过程中将其转换为矩形几何形状。

而在我们按下快门进行拍摄后，得到的JPEG等格式的彩色图像，往往是经过了机内后期，比如调色，降噪等，处理完成后再编码压缩输出的。

所以，RAW图像格式和JPEG等其他图像格式之间有一些不同之处：

1. RAW文件是相机传感器记录的未经过处理的原始数据，它们包含更多的信息，包括更宽的动态范围和色彩范围。JPEG等其他图像格式是经过压缩和处理的图像文件，其中包含的信息较少。
2. RAW文件需要进行后期处理才能生成可见的图像，而JPEG等其他图像格式是已经处理过的可见图像。
3. 由于RAW文件的信息更丰富，它们通常更大，需要更多的存储空间。JPEG等其他图像格式通常比RAW文件小，需要更少的存储空间。
4. RAW文件格式因相机而异，因此，不同的相机生成的RAW文件可能需要不同的软件来处理。而JPEG等其他图像格式是标准格式，可以在大多数软件中打开和处理。

总之，RAW文件提供了更高的图像质量和更多的后期处理选项，但需要更多的存储空间和专业的软件来处理。JPEG等其他图像格式则是通用的、可见的图像格式，适合于普通用户和日常使用。

参考文献

[1]: 维基百科-拜尔滤色镜

[2]: 彩色相机为什么是彩色的？Bayer滤镜篇

[3]: Raw image format

[4]: 《计算摄影学基础》