Raw域图像处理

目录

一、Bayer RAW data

二、黑电平

三、坏点矫正

四、暗角矫正

五、shading

六、噪声分类

七、噪声评价

---

Raw域图像处理：在整个图像处理的Pipline中，在Raw域的图像处理一般是在对硬件导致的原始图像的缺陷进行补偿，主要包括：

• 黑电平补偿（BlackLevelCorrection）
• 坏点矫正（Bad Point Correction）
• 暗角矫正（Lens Shading Correction）
• Raw 域降噪（Raw Denoise）

一、Bayer RAW data

图像感应器将捕捉到的光源信号转化为数字信号的原始数据,通常是RGGB拜耳格式。

二、黑电平

定义:图像中黑色的最低点，即图像数据为0时对应的信号电平值。
原理：由于ADC芯片的精度原因，无法将很小的电压转换出来，因此需要在ADC输入前加一个固定的偏移量，来保留更多的暗部细节。

sensor本身存在暗电流，导致在没有光线照射的时候，像素单位也由一定的电压输出，且跟曝光时间和gain成正比，因此需要在不同的gain下减去不同的BlackLevel。pixel sensor边缘会有optical black，用于估算该像素上的BL值。

矫正：部分Sensor在内部集成BLC模块，但考虑到效率和成本，一般采用ISP在比较靠前的节点进行矫正，考虑到sensor输出的信噪比，一般会在输出数据时会垫上一个基pedestal，此时raw = sensor input -optical black level + pedestal。BLC需要在各个通道进行矫正。对于16位的pixel，首先根据pixel位置和拜耳格式，获取当前pixel是哪种类型，是R/Gr/Gb/B四种类型的哪一种，然后再分别减去对应的black level值；减完black level以后，值域范围变成了0~3839，我们需要把它映射回0~4095，因此，所有的pixel都乘上了一个global_gain值。

1. 中值矫正
2. 全局均值矫正
3. 局部均值矫正

三、坏点矫正

由于传感器阵列工艺缺陷或者光信号转化过程出现错误，造成图像上有些像素的信息有误，导致图像中的像素值不准确，这些有缺陷的像素即为图像坏点(Bad pixel)。

四、暗角矫正

首先检测出图像中间亮度比较均匀的部分，认为这部分不需要矫正，然后以此为中心，计算出周围区域需要补偿的因子（增益）。实际项目中，可以把镜头对准白色物体，检查图像四周是否有暗角。考虑到芯片设计的成本，因此一般情况下不会存储整幅图像的lut，目前主流的都是存储128*128个点的增益，利用双线性插值的方法计算每个pixel的增益。

五、shading

• Lumashading:
• 由于Lens的光学特性，Sensor影像区的边缘区域接收的光强比中心小，造成的中心和四角亮度不一致的现象。
• Color shading:
• 由于各种颜色的波长不同，经过了透镜的折射，折射的角度也不一样，因此会造成color shading的现象。处理流程在运行前依赖人工矫正。lens shading的校正是分别对于bayer的四个通道进行校正，每个通道的校正过程是相对独立的过程。将图像分为16x16的方块，求取每个交点的增益值，对平面进行四次方拟合，分别计算了lumashading 和chromshading，先计算出来一个lut用于存储，通过对这个lut进行双线性插值得到每个pixel的值乘以原本像素点进行矫正。一般情况下raw图的G通道中心亮度在8bit的70%~80%之间，由于在不同色温情况下是经过插值的，因此需要校正多个光源，一般情况下TL84、D65、A光源下进行校正。将得到的LUT写入RAM中即可。

六、噪声分类

放大器噪声（高斯噪声，Gaussian noise）：
放大器噪声的标准模型是加性高斯噪声（Additive Gaussian Noise），独立于每个像素并且与信号强度无关，主要是由约翰逊—尼奎斯特噪声（Johnson–Nyquistnoise，热噪声）引起的，包括来自电容的复位噪声（kTC噪声）；彩色数码相机用于蓝色通道的放大率比绿色或红色通道要多，因此在蓝色通道中的噪声也更多。

椒盐噪声（Salt-and-pepper noise）：

胖尾分布（Fat-tail distributed）或“冲击”（impulsive）噪声在有些时候被称为盐和胡椒噪声或尖峰（spike）噪声。这种类型的噪声一般是由像素坏点、模数转换器错误以及在传输过程中的比特错误等引起的。

散粒噪声（Shot noise）：

在一个给定的曝光水平上所感应到的光子数量的变化，这种噪声被认为是光子散粒噪声。散粒噪声均方根与图像强度的方根成正比，不同像素的噪声是彼此独立的。散粒噪声服从泊松分布（Poissondistribution），通常与高斯噪声没有很大的不同。

量化噪声（Quantization noise，uniform noise）：

量化感知图像的像素到离散数字量时产生的噪声被称为量化噪声；其大致为一致性分布，可取决于信号，虽然如果其它噪声源大到引起抖动或者如果明确适用于抖动其将与信号无关。非各向同性噪声（Non-isotropic noise）有些噪声源会在图像中表现出明显的方向性。例如，图象传感器有时候会出现行噪声或列噪声。

七、噪声评价

信噪比(SNR, Signal Noise Ratio）：
指一个电子设备或者电子系统中信号与噪声的比例。图像画质评价指标，db越高，降噪程度越好。

• SNR高不代表真实的视觉噪声好，同样的SNR，视觉表现出来可能不同（Visual Noise）。
• SNR好不代表图像质量好，可能在中低频出现过度涂抹,可以通过枯叶图测试中低频保留程度。

Raw 域降噪：
Raw域降噪是整个成像过程的主力降噪节点，噪声不是单纯的高斯噪声，而是和亮度有关的噪声，亮度越高，噪声越大，在Raw域降噪，可显著减少Demosaic的结构性噪声。