图像处理自学（三）：CAMERAM处理流程总结

一、图像信号处理流程

二、自动曝光原理

（1）曝光模式即计算机采用自然光源的模式，通常分为多种，包括：快门优先、光圈优先、手动曝光、AE锁等模式。照片的好坏与曝光量有关，
也就是说应该通多少的光线使CCD能够得到清晰的图像。曝光量与通光时间（快门速度决定），通光面积（光圈大小决定）有关。
（2） 为了得到正确的曝光量，就需要正确的快门与光圈的组合。快门快时，光圈就要大些；
快门慢时，光圈就要小些。快门优先是指由机器自动测光系统计算出曝光量的值，然后根据你选定的快门速度自动决定用多大的光圈。
光圈优先是指由机器自动测光系统计算出曝光量的值，然后根据你选定的光圈大小自动决定用多少的快门。
（3）光圈越大，则单位时间内通过的光线越多，反之则越少。光圈的一般表示方法为字母“F+数值”，例如F5.6、F4等等。这里需要注意的是数值越小，
表示光圈越大，比如F4就要比F5.6的光圈大，并且两个相邻的光圈值之间相差两倍，也就是说F4比F5.6所通过的光线要大两倍。相对来说快门的定义就很简单了，也就是允许光通过光圈的时间，表示的方式就是数值，例如1/30秒、1/60秒等，同样两个相邻快门之间也相差两倍。
（4） 光圈和快门的组合就形成了曝光量，在曝光量一定的情况下，这个组合不是惟一的。例如当前测出正常的曝光组合为F5.6、1/30秒，如果将光圈
增大一级也就是F4，那么此时的快门值将变为1/60，这样的组合同样也能达到正常的曝光量。不同的组合虽然可以达到相同的曝光量，但是所拍摄出来的图片效果是不相同的。

三、ISP(Image Signal Processor)算法

即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量。它分为独立与集成两种形式。

（1）黑电平校正（暗电流校正）
暗电流指传感器在没有入射光的情况下，存在一定的信号输出，这是由于半导体的热运动造成的，它的大小和传感器结构及温度有关，大概每升高9 ℃，其暗电流会增加1 倍。由于每个像素存在不平衡性，因此像素间暗电流也会不一致，造成电流噪声。一般情况下，在传感器中，实际像素要比有效像素多，像素区最靠边的行和列为不感光区，一般用作自动黑电平校正，其平均值作为校正值。

（2）颜色插补
原始像素只包含一种颜色的信息（R 或G 或B），要重建色彩画面，就必须从相邻的像素中得到失去的信息。红色及蓝色插补一般遵循最近原则，进行平均处理，作为本像素的色彩值，由插值原理知，相邻像素间存在依赖关系，结果造成画面锐度降低。

（3）颜色校正
由于人类眼睛可见光的频谱响应度和半导体传感器频谱响应度之间存在差别，还有透镜等的影响，插补后得到的RGB 值颜色会存在偏差，因此必须对颜色进行校正，一般通过颜色校正矩阵来实现。具体的彩色矫正参数，可以通过试验或从传感器供应商中获得，当然要得到不失真的还原是不可能的，只能反复调试达到最佳。一般通过标准色卡进行校正。

（4）Gamma 校正
Gamma 校正主要依据色度学原理进行调整，色彩在不同显示设备中频谱响应度不一样，造成颜色失真。失真成幂指数关系，因此调节相对简单，分别对R、G、B 调节即可。
（5）RGB2YUV 转换
Y ＝16 ＋（0. 257 × R ＋0. 504 × G ＋0. 098 × B）
Cb ＝128 ＋（－0. 148 × R－0. 291 × G ＋0. 439 × B）
Cr ＝128 ＋（0. 439 × R－0. 368 × G－0. 071 × B）

（5）自动白平衡处理
如果使用过没有白平衡的数码相机，会发现荧光灯的光人眼看起来是白色的，但用数码相机拍摄出来却有点偏绿。同样，如果在白炽灯下，拍出图像的色彩就会明显偏红。人类的眼睛之所以把它们都看成白色，是因为人眼进行了修正。由于图像传感器本身没有这种功能，因此有必要对它输出的信号进行一定的修正，这种修正叫作白平衡。
白平衡控制通过图像色彩调整（一般调节R、B 增益实现），使在各种光线条件下拍摄出的照片色彩和人眼所看到的景物色彩完全相同。从理论上我们知道，随着色温的升高，要对色温进行较正，否则，物体在这样的光线条件下所表现出来的颜色就会偏离其正常的颜色，因此需要降低 sensor对红色的增益，增加sersor对蓝光的增益。同时在调整参数时一定程度上要考虑到整体亮度的要保持大致的不变，即以YUV来衡量时，Y值要 基本保持不变，理论上认为可以参考RGB->YUV变换公式中，RGB三分量对Y值的贡献，从而确定RGAIN和BGAIN的变化的比例关系。但实 际情况比这还要复杂一些，要考虑到不同sensor对R,B的感光的交叉影响和非线性，所以最佳值可能和理论值会有一些偏差。
白平衡的实现一般有手动和自动两种模式，当然对于摄像机主要以自动白平衡为主。自动白平衡一般基于“ Grey World” 假设，调节R、B 的增益，在选定参考白平衡区域内达到R、G、B 相等。自动白平衡是基于假设场景的色彩的平均值落在一个特定的范围内，如果测量得到结果偏离该范围，则调整对应参数，校正直到其均值落入指定范围。该处理过程可能基于YUV空间，也可能基于RGB空间来进行。对于Sensor来说，通常的处理方式是通过校正R/B增益，使得UV值落在一个指定的范围 内。从而实现自动白平衡。这种假设在很多场合可以达到很好的效果，但由于无法得到场景光源的所有信息，因此自动白平衡效果有时并不让人满意，此时可以让用户自己定义一个点火区域作为参考点，也有用白平衡感测器来实现的。

（6）自动曝光、AE 评估
自动曝光，简单地说就是自动控制曝光时间，达到曝光恰到好处的效果。曝光过度，图像传感器就会产生溢出，造成对比度下降，动态灵敏度降低。曝光不够，同样会造成对比度下降，动态灵敏度降低，信噪比下降，画面效果不好。因此在不同的场景必须对曝光时间进行控制。
自动曝光主要是对某可选区域内画面亮度分量（y 信号）进行评估，若y 偏小，增大曝光量，反之减少。