相机 - 02 图像处理isp

1. 基本概念

1. 图像处理流程图
   (1) 光线 --> lens --> sonsor --> 光电转换 --> A/D --> bayer pattern --> isp --> I/O

2. bayer pattern ( 拜耳阵列 ), 采集数字图像时常用的方法,
   (1) Bayer 格式是相机内部的原始图片, 一般后缀名为.raw.
   (2) 彩色滤波阵列(Color Filter Arrays, CFA) , sensor表面覆盖的滤波, 最常用的滤镜阵列是棋盘格式的

3. ISP 通过运行在其上的 firmware(固件)对 ISP 逻辑, lens 和sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。
   (1) ISP: ISP逻辑 + Firmware
      [1] 逻辑单元: 完成部分算法处理 + 统计当前图像的实时信息
      [2] Firmware 通过获取ISP 逻辑的图像统计信息，重新计算，反馈控制lens、sensor 和ISP 逻辑，以达到自动调节图像质量的目的。
   (2) Firmware 包含三部分: ISP 控制单元和基础算法库，AE/AWB/AF 算法库 和 sensor 库.
      [1] Firmware 设计的基本思想是单独提供3A 算法库，由ISP 控制单元调度基础算法库和3A 算法库，同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调，以实现差异化的sensor 适配。
   

1.1 isp 模块简介

1. 黑电平补偿 BLC(Black level Correction)
   (1) 目的：减少暗电流（暗电流与光照产生的电荷很难进行区分）对图像信号的影响
      [1] Black Level 是用来定义图像数据为 0 时对应的信号电平
   (2) 原因：物理器件由于杂质、 受热等原因，没有光照射到像素单元也会产生电荷，产生了暗电流，导致传感器出来的实际原始数据并不是我们需要的黑电平(数据不为0).
   (3) 方法：从已获得的图像信号中减去参考暗电流信号.
      [1] 一般传感器中, 比有效像素多几行作为不感光区，也做了RGB的 color filter, 用于自动黑电平校正，其平均值作为校正值，有效像素减去此矫正值就可以将黑电平矫正过来了。
   (4) 现象: 没做black level矫正的图片比做过的图片亮
   

2. 镜头矫正 LSC(Lens Shading Correction)
   (1) 目的: 用于消除图像周边和图片中心的不一致性，包含亮度和色度，需使用 OTP 中的校准数据完成功能。
   (2) 原因: 镜头本身的物理性质造成图像亮度, 从图像中心到四周逐渐衰减
   (3) 方法：根据一定的算法计算每个像素对应的亮度矫正值来补偿周边衰减的亮度
   (4) 现象: 中间亮,周边暗
   

3. 坏点矫正 BPC(Bad Pixel Correction)
   (1) 目的：修复sensor像素元不良，导致信号异常对图片的影响
   (2) 原因：一般情况下， RGB 信号应与景物亮度呈线性响应关系， 由于 Senor 部分 pixel 不良导致输出的信号不正常，表现为暗态常亮，亮态常暗
      [1] 坏点有时是故意放的, 为的是作为一个参考标尺.
   (3) 方法：坏点修复方法通常有两种：
      A: 自动检测坏点并自动修复
      B: 建立坏点像素链表进行固定位置的坏像素点修复(OTP 方式: 一次性可编程)

4. 降噪 Denoise
   (1) 目的：恢复因各种噪声导致图像模糊，细节丢失，有随机噪声、量化噪声、固定模式噪声等, 常见高斯噪声，泊松噪声，乘性噪声，椒盐噪声.
   (2) 原因：
      [1] 图像获取过程中受材料和外界环境影响
      [2] 图像信号传输过程中受传输介质等影响
   (3) 方法：空间去噪（传统的方法有均值滤波、 高斯滤波等）
      [1] 一般的高斯滤波在采样时, 主要考虑像素间的空间距离关系, 未考虑像素间的相似程度, 因此得到的模糊结果通常是整张图片一团模糊.
      [2] 非线性去噪算法, 例如双边滤波器, 可以保持原始图像的大体分块，进而保持边缘。
      [3] 实际应用中, 小波去噪比较合适, 整个pipeline中各分段都会或多或少的应用DNS.
   (4) 现象：
      [1] 噪声表现为一引起较强视觉效果的孤立像素点或像素块。

5. 颜色插值 (Demosaic)
   (1) 目的：原始像素只有一种颜色信息(R /G /B), 通过CIP插值从相邻的像素中得到失去的信息重建色彩画面.
   (2) 原因：
      [1] 光线通过CFA阵列后打在传感器上, 分别得到了BGR数据
      [2] 人眼对绿色光更敏感，所以BGR的数据采样比为1:2:1 , 其中G(亮度信息)，BR(色度信息)
      [3] 图像信号传输过程中受传输介质等影响
   (3) 方法:
      [1] 邻近像素复制, 双线性插值, CIP插值等
   (4) 现象:
   

6. 自动白平衡 AWB(Automatic White Balance)
   (1) 目的: 为了消除光源颜色对sensor成像的影响
      [1] 白平衡就是调整R/B增益，达到R、G、B 相等
   (2) 原因：人类视觉系统具有颜色恒常性的特点, 不受光源颜色的影响. 看到的白色物体总是白色的(视觉修正的结果), 图像传感器本身并不具有这种颜色恒常性的特点.
      [1] 图像在高色温下偏蓝,低色温下偏黄
      [2] 白平衡与色温相关，如下图为一些场景的色温信息
   
   (3) 方法: 灰度世界法和完美反射法等是比较常用且有效的方法
      [1] 色温统计： 根据图像统计出色温
      [2] 计算通道增益： 计算出R 和B 通道的增益
      [3] 进行偏色的矫正： 根据给出的增益， 算出偏色图像的矫正
      [4] 色温统计： 根据图像统计出色温
   (4) 现象:
   

7. Gamma Correction
   (1) 目的：人眼感光与输入光强呈指数型关系, sensor 与输入光强呈线性关系，方便人眼辨识图像需校正
   (2) Gamma 矫正：是对输入图像灰度值进行的非线性操作, 使输出图像灰度值与输入图像灰度值呈指数关系，这个指数就是 Gamma (人眼对亮度的响应曲线)
   (3)原因：
      [1] 低照度下, 人眼更容易分辨亮度的变化, 随着照度的增加, 人眼不易分辨出变化
      [2] 进行伽马校正的同时还可以一定范围的抑制图像较暗部分的噪声值，并提高图像的对比度, 还可以实现图像显示精度的调整, 如从l0bit精度至8bit精度的调整
   (4) 方法：常用的伽马校正是利用查表法来实现的.
   (5) 现象：
   

8. Color Correction
   (1) 目的：校准除白色（白平衡校正）以外其他颜色存在的偏差
      [1] 一般情况下, 对颜色进行校正的过程, 都会伴随对颜色饱和度的调整
      [2] 颜色的饱和度: 指色彩的纯度, 某色彩的纯度越高, 表现越鲜明；越低则比较黯淡, RGB三原色的饱和度越高，则可显示的色彩范围就越广泛.
   (2) 原因：
      [1] 人眼可见光的频谱响应度和sensor频谱响应度之间的差别
      [2] 滤光板处各颜色块之间的颜色渗透带来的颜色误差，透镜等影响
   (3) 方法：通过一个3x3 的颜色变化矩阵来进行颜色矫正

9. 色彩空间转换
   (1) 原因：Senor的输出的Raw data是RGB，有些场景在YUV上更方便，且YUV存储和传输时更省带宽
      [1] YUV 基本色彩空间, 人眼对亮度改变的敏感性远比对色彩变化大, 亮度分量Y 要比色度分量U、V 重要, 可以适当地抛弃部分U、V分量， 达到压缩数据的目的.
      [2] YCbCr 是YUV 缩放和偏移的改动版, Y 亮度，Cr、Cb 色彩的色差, 分别是红色和蓝色的分量

10. WDR（Wide Dynamic Range）宽动态
    (1) 目的：解决采集的图像出现亮区域过曝, 而暗区域曝光不够的现象，自动调整图像动态范围
    (2) 方法：
       [1] 模拟光线和物理光照模型的合成图像
       [2] 使用宽响应范围cmos传感器拍摄
       [3] 利用拍摄得到的不同曝光多帧低动态范围图像（LDR）合成
          a. 获取高、中、低曝光的三幅图像；
          b. 将三幅图像转化到YUV空间，分离出Y、U、V数据
          c. 在Y空间上进行图像配准，消除人手抖动造成的影响
          d. 三幅图像的Y数据进行灰度融合，将得到的Y数据与中曝光的U、V数据进行合成生成宽动态图
    (3) 常见难点问题：鬼影，曝光时间选择，生成的HDR图，颜色不自然。
    (4) 现象:
    

11. Sharp 锐化
    (1) 原因: 降噪处理会消除一些图像细节，导致图像不够清晰。为了消除细节的损失，需要对图像进行锐化处理，还原图像的相关细节
    (2) 现象:
    

12. contrast 对比度
    (1) 对比度指不同颜色之间的差别, 对比度越大，不同颜色之间的反差越大，即所谓黑白分明.
       [1] 对比度过大，图像就会显得很刺眼。对比度越小，不同颜色之间的反差就越小
    (2) 通过gstreamer查看区别
    gst-launch-1.0 videotestsrc ! video/x-raw,format=GRAY16_LE ! videoconvert ! glimagesink contrast=0.2 videotestsrc ! video/x-raw,format=GRAY16_LE ! videoconvert ! glimagesink contrast=1 videotestsrc ! video/x-raw,format=GRAY16_LE ! videoconvert ! glimagesink contrast=2
    (3) 现象: 以下为小，原图和大时的效果:
    

13. brightness 亮度
    (1) 亮度指照射在景物或图像上光线的明暗程度。
       [1] 图像亮度增加时，就会显得耀眼或刺眼，亮度越小时，图像就会显得灰暗
    (2) 通过gstreamer查看区别
    gst-launch-1.0 videotestsrc ! video/x-raw,format=GRAY16_LE ! videoconvert ! glimagesink brightness=-0.5 videotestsrc ! video/x-raw,format=GRAY16_LE ! videoconvert ! glimagesink brightness=0 videotestsrc ! video/x-raw,format=GRAY16_LE ! videoconvert ! glimagesink brightness=0.5
    (3) 现象: 以下为小，原图和大时的效果:
    

14. hue 色调
    (1) 色调是各种图像色彩模式下原色的明暗程度
    (2) 通过gstreamer查看区别
    gst-launch-1.0 videotestsrc ! videoconvert ! glimagesink hue=-1000 videotestsrc pattern=0 ! videoconvert ! glimagesink hue=1000 videotestsrc ! videoconvert ! glimagesink hue=0
    (3) 现象: 上中下(-1,0,1)
    

14 saturation 饱和度
(1) 饱和度是指图像颜色的浓度。饱和度越高，颜色越饱满，即所谓的青翠欲滴的感觉。饱和度越低，颜色就会显得越陈旧、惨淡，饱和度为0时，图像就为灰度图像。
(2) 通过gstreamer查看区别
gst-launch-1.0 videotestsrc ! videoconvert ! glimagesink saturation=0 videotestsrc pattern=0 ! videoconvert ! glimagesink saturation=1 videotestsrc ! videoconvert ! glimagesink saturation=2
(3) 现象:

15.AE（Automatic Exposure）自动曝光
(1) 不同场景下, 光照的强度有着很大的差别, 必须使用自动曝光功能来确保拍摄的照片获得准确的曝光从而具有合适的亮度。
(2) 自动曝光的实现一般包括三个步骤：光强测量、场景分析和曝光补偿

1. 光强测量的过程是利用图像的曝光信息来获得当前光照信息的过程
2. 场景分析是指为了获得当前光照的特殊情况而进行的处理，比如有没有背光照射或者正面强光等场景下。对这些信息的分析，可以提升图像传感器的易用性，并且能大幅度提高图像的质量，这是自动曝光中最为关键的技术
3. 完成了光强测量和场景分析之后，就要控制相应的参数使得曝光调节生效。主要是通过设定曝光时间和曝光增益来实现的。在实际情况下, 相机通常还会采用镜头的光圈/快门系统来增加感光的范围。

参考

1. csdn-sssuperqiqi:gstreamer专栏
2. csdn-大熊背:ISP基本框架及算法介绍
3. csdn-哗啦呼啦嘿:常见的噪声：高斯、泊松和椒盐噪声