ISP算法学习之ISP Pipeline

闲来无事，学习一下ISP的相关算法，并在此记录。

1、ISP算法是什么

图像信号处理（ISP，Image Signal Processing）算法是一系列用于从图像传感器（如CMOS或CCD）捕获的原始数据中提取高质量数字图像的方法。ISP算法的主要目的是对原始数据进行去噪、增强和优化，以便为用户提供清晰、准确的图像。ISP算法在各种应用中广泛使用，如智能手机、相机、安防监控、医疗图像处理和自动驾驶等。

2、ISP Pipeline

再讲ISP算法之前，还有一个基础的概念是：

什么是Bayer格式？

Bayer格式（Bayer Pattern）是一种用于图像传感器上的颜色滤波阵列（CFA，Color Filter Array）的设计。Bayer格式是一种常用的颜色采样模式，广泛应用于各种数字相机和图像传感器。在Bayer格式中，每个像素仅捕获一个颜色通道的信息，通常是红色（R）、绿色（G）或蓝色（B）。为了达到这个目的，Bayer滤波器阵列将红、绿、蓝三种颜色滤波器以特定的排列方式覆盖在图像传感器的像素上。常用的Bayer格式有RGGB,、GRBG、GBRG等多种，因此需要正确配置ISP以反应sensor的数据格式。

我们平时说的ISP pipeline一般是指从摄像头采集到的光信号转换成电信号后到最后可以显示的图像这中间的所有流程，这部分可以参考：ISP Pipeline。

ISP Pipeline其整个过程的大致流程如下图所示（这是一个比较简单的 ISP pipeline，各家平台会有些差异），旨在将图像传感器（例如CMOS或CCD）捕获的原始数据转换为高质量的数字图像。在这个过程中，各种算法被应用于图像数据，以改善其质量、清晰度和准确性。

 其中涉及到的一些主要名词有：

缩写	英文全名	描述
DPC	Defective Pixel Correction	失效像素校正，是一种用于检测并修复图像传感器中失效像素的技术。失效像素可能由于制造缺陷或使用过程中的损耗而导致，表现为明显的亮点或暗点。DPC算法可以识别这些失效像素并通过临近像素的值进行插值修复。
BLC	Black Level Correction	黑电平校正，去除图像传感器在无光情况下产生的信号偏移，提高图像质量。
Deniose	Noise Reduction	去噪，是指通过空间域和频域的方法，减小图像中的随机噪声和固定模式噪声。这有助于提高图像的信噪比。
LSC	Lens Shading Correction	镜头阴影校正，是一种用于消除由于镜头设计或制造缺陷引起的光照不均匀的技术。LSC算法通过补偿每个像素的增益来实现光照均衡。
Demosiac		去马赛克，也称为Bayer插值，是将使用Bayer滤波器阵列捕获的图像原始数据进行插值的过程，以重建完整的彩色图像。
AWB	Auto White Balance	自动白平衡，是调整图像的颜色平衡，使之在不同光源下看起来自然的过程。
CCM	Color Correction Matrix	颜色校正矩阵，是一种用于纠正传感器中的颜色偏差的技术，使得图像颜色更加真实。
Gamma		伽马校正，对图像的亮度进行非线性转换，以符合人眼对亮度的感知特性。
EE	Edge Enhancement	边缘增强，是一种用于提高图像的细节和边缘清晰度的技术。边缘增强算法通常通过增加边缘区域的对比度来实现。