ISP全流程简介

ISP的pipline总结

ISP(Image Signal Processor)，即图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量。

1.DPC

坏点矫正。所谓坏点，是指像素阵列中与周围像素点的变化表现出明显不同的像素，因为图像传感器是成千上万的元件工作在一起，因此出现坏点的概率很大。一般来讲，坏点分为三类：第一类是死点，即一直表现为最暗值的点；第二类是亮点，即一直表现为最亮值的点：第三类是漂移点，就是变化规律与周围像素明显不同的像素点。

盐椒噪声是一种在图像中产生黑点或白点的脉冲噪声，这类噪声往往和图像信号内容不相关，与邻域周边像素灰度值差别明显。中值滤波能够较好的滤除盐椒噪声（冲激噪声）。对于Sensor坏点来说，在一定程度上也可以看做是盐椒噪声，因此，坏点校正也可以使用中值滤波进行滤除。

2.BLC

黑电平矫正（Black Level Correction）。为什么要进行黑电平校正呢？原因如下：
CMOS传感器采集的信息经过一系列转换生成原始RAW格式数据。以8bit数据为例，单个pixel的有效值是0~255，但是实际AD芯片（模数转换芯片）的精度可能无法将电压值很小的一部分转换出来，因此，sensor厂家一般会在AD的输入之前加上一个固定的偏移量，使输出的pixel value在5（非固定）~255之间，目的是为了让暗部的细节完全保留，当然同时也会损失一些亮部细节，由于对于图像来说，我们的关注度更倾向于暗部区域，ISP后面会有很多增益模块（LSC、AWB、Gamma等），因此亮区的一点点损失是可以接受的。

sensor的电路本身会存在暗电流，导致在没有光线照射的时候，像素单位也有一定的输出电压，暗电流这个东西跟曝光时间和gain都有关系，不同的位置也是不一样的。因此在gain增大的时候，电路的增益增大，暗电流也会增强，因此很多ISP会选择在不同gain下减去不同的bl的值。
算法：一般BLC模块会放在ISP比较靠前的位置，因为我们希望图像在进入其他模块之前能够还原最为真实的图像。有些sensor会在sensor内部集成BLC的模块，那么此时ISP里的BLC模块只做微调即可。

3.LSC

镜头阴影矫正。Lens Shading指画面四角由于入射光线不足形成的暗角，同时，由于不同频率的光折射率差别，导致 color shading。因此需要镜头影音校正(Lens Shading Correction)。lens shading分为两种 luma shading( 亮度阴影)和 color shading (色彩偏差)。
luma shading
图像中间亮，四周偏暗

chroma/color shading
由于各种颜色的波长不同，经过了透镜的折射，折射的角度也不一样。

4. Denoise

使用 cmos sensor 获取图像，光照程度和传感器问题是生成图像中大量噪声的主要因素。同时， 当信号经过 ADC 时， 又会引入其他一些噪声。 这些噪声会使图像整体变得模糊， 而且丢失很多细节， 所以需要对图像进行去噪处理空间去噪传统的方法有均值滤波、 高斯滤波等。
但是， 一般的高斯滤波在进行采样时主要考虑了像素间的空间距离关系， 并没有考虑像素值之间的相似程度， 因此这样得到的模糊结果通常是整张图片一团模糊。 所以， 一般采用非线性去噪算法， 例如双边滤波器， 在采样时不仅考虑像素在空间距离上的关系， 同时加入了像素间的相似程度考虑， 因而可以保持原始图像的大体分块， 进而保持边缘。

5. 3As(AE,AF,AWB)

AE自动曝光

不同场景下，光照的强度有着很大的差别。人眼有着自适应的能力因此可以很快的调整，使自己可以感应到合适的亮度。而图像传感器却不具有这种自适应能力，因此必须使用自动曝光功能来确保拍摄的照片获得准确的曝光从而具有合适的亮度。
AE 模块实现的功能是：根据自动测光系统获得当前图像的曝光量，再自动配置镜头光圈、sensor快门及增益来获得最佳的图像质量。

AF自动对焦

待补充

AWB自动白平衡

当人们用眼睛观察自然世界时，在不同的光线下，对相同颜色的感觉基本是相同的，比如在早晨旭日初升时，人们看 个白色的物体 感觉它是白的:而人们在夜晚昏暗的 灯光下，看到的白色物体，感觉它仍然是白的， 这是由于人类从出生到成长的过程中， 大脑己经对不同光线下的物体的彩色还原有了适应性， 这种现象称为颜色恒常性。不幸的是， CMOS CCD 等感光器件没有这样的适应能力 白色物体在暖色灯光照射下，拍摄的图像橘红色， 在冷色灯光照射下，拍摄的图像呈淡蓝色。

为什么在不同色温的光源下，物体会出现偏色呢?这是因为图像传感器只是记录了所有投射到其上的光线，其本身并不能分辨投射到其上的色光是由物体本身的色彩反射而成，还是由偏色的环境光造成，所以传感器是没有颜色恒常性能力，不能够适应这种色光的变化 所以当它真实呈现出所拍摄到的图像时，就出现了偏色。

为了使得摄像机也具有颜色恒常性能力，需要使用自平衡技术。所谓白平衡( Wh ite Balance ，简单地说就是去除环境光的影响 ，还原物体真实的颜色，把不同色温下的颜色调整正确， 从理论上说白颜色调整正确了，其他色彩就都准确了。

白平衡的调节一般是通过改变红、绿、蓝三色的比例关系实现。
AWB都有哪些算法

• 灰度世界法 灰度世界算法基于一个假说：任一幅图像,当它有足够的色彩变化,则它的RGB分量的均值会趋于相等（即灰色）
• 完全反射法 完全反射也是基于一个假说：一幅图像中某个像素点最亮，代表它对各个波段的光线都近乎完全反射，那么它的真实颜色应该是白色的，即R=G=B，且RGB的值最大。
• 白点-色温标定法