一文查阅AP端ISP图像的优化处理（概念+架构+功能）

   这段时间由于需要，查阅理解了AP端ISP图像的优化处理，以下的总结都非常的全面，通过整理，希望对大家有所帮助。
  **ISP(Image Signal Processor)**，即**图像信号处理器**，用于处理图像信号传感器输出的图像信号。它在相机系统中占有核心主导的地位，是构成相机的重要设备。ISP 通过一系列数字图像处理算法完成对数字图像的效果处理。主要包括3A、坏点校正、去噪、强光抑制、背光补偿、色彩增强、镜头阴影校正等处理。ISP 包括逻辑部分以及运行在其上的firmware。

1. ISP基础概念

ISP是什么？它的目的就是对光学传感器输出的Raw图数据进行信号处理，使之成为符合人眼真实生理感受的信号，并加以输出。
**为什么需要ISP呢？**这是个复杂的问题，其根源就是Raw图数据排布的形式。以下给出jpg和Raw的对比效果，这能非常直观地告诉你，Raw图为什么叫做Raw图（未经处理的图）。

我们知道所有的光都被能分解为几种基础色光。反之，用一定比例的各种饱和度、色调的基础色光就可以合成几乎所有的光。光学Seneor正是利用了这一原理，设置了红绿蓝pixel（像素单元）来接收光信号。而目前，红绿蓝pixel的排布采用了Bayer（贝尔）排布。这种排布造就了上图显示的传感器Raw图数据直接显示的效果。问题所在：1.图上全是绿色，2有网格现象（我们称之为棋盘格现象）.
**怎么样实现ISP？**那么如何处理Raw图的数据，使之能够显示符合人眼真实感受的图片，这就成为了ISP的重要使命。为实现这一使命，ISP分为三个重要的部分，Bayer域信号处理，RGB域信号处理，YUV域信号处理。

2. ISP主要内部构成及控制

如下图所示，ISP 内部包含 CPU、SUP IP、IF 等设备，事实上，可以认为ISP 是一个 SOC，可以运行各种算法程序，实时处理图像信号。
①CPU
CPU 即中央处理器，可以运行 AF(自动对焦)、LSC 等各种图像处理算法，控制外围设备。现代的 ISP 内部的 CPU 一般都是 ARM Cortex-A 系列的，例如 Cortex-A5、Cortex-A7。

②SUB IP
SUB IP 是各种功能模块的通称，对图像进行各自专业的处理。常见的 SUB IP 如 DIS、CSC、VRA 等。

③图像传输接口
图像传输接口主要分两种，并口 ITU 和串口 CSI。CSI 是 MIPI CSI 的简称，鉴于 MIPI CSI 的诸多优点，在手机相机领域，已经广泛使用 MIPI-CSI 接口传输图像数据和各种自定义数据。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 两个接口。内置 ISP 一般只需要 MIPI-CSIS 接口。

④ 通用外围设备
通用外围设备指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器，用于读取 OTP 信息，控制 VCM 等。对于外置 ISP，ISP 本身还是 I2C 从设备。AP 可以通过 I2C 控制 ISP 的工作模式，获取其工作状态等。

ISP 的Firmware 包含三部分，一部分是ISP 控制单元和基础算法库，一部分是AE/AWB/AF 算法库，一部分是sensor 库。Firmware 设计的基本思想是单独提供3A 算法库，由ISP 控制单元调度基础算法库和3A 算法库，同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调，以实现差异化的sensor 适配。ISP firmware 架构如下图所示。

控制结构：

ISP包括： 1、ISP逻辑 2、运行在其上的firmware
如图所示，lens 将光信号投射到sensor的感光区域后，sensor 经过光电转换，将Bayer 格式的原始图像送给ISP，ISP 经过算法处理，输出RGB空间域的图像给后端的视频采集单元。在这个过程中，ISP通过运行在其上的firmware（固件）对ISP逻辑，从而对lens 和sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中，firmware的运转靠视频采集单元的中断驱动。PQ Tools 工具通过网口或者串口完成对ISP 的在线图像质量调节。
ISP 由ISP逻辑及运行在其上的Firmware组成，逻辑单元除了完成一部分算法处理外，还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息，重新计算，反馈控制lens、sensor 和ISP 逻辑，以达到自动调节图像质量的目的。
3. 主要及常见功能特性
ISP作为图像处理的核心器件，拥有十分重要的功能，下图展示了 ISP 处理图像数据的基本流程。

下面针对 ISP 的主要功能特性进行下介绍：
① DEMOSAIC
DEMOSAIC 是 ISP 的主要功能之一。SENSOR 的像素点上覆盖着 CFA，光线通过 CFA 后照射到像素上。CFA 由 R、G、B 三种颜色的遮光罩组成，每种遮光罩只允许一种颜色通过，因此每个像素输出的信号只包含 R、G、B 三者中的一种颜色信息。SENSOR 输出的这种数据就是 BAYER 数据，即通常所说的 RAW 数据。显而易见，RAW 数据所反映的颜色信息不是真实的颜色信息。DEMOSAIC 就是通过插值算法将将每个像素所代表的真实颜色计算出来。
②FOCUS
根据光学知识，景物在传感器上成像最清晰时处于合焦平面上。通过更改 LENS 的位置，使得景物在传感器上清晰的成像，是 ISP FOCUS 功能所需要完成的任务。FOCUS 分为手动和自动两种模式。ISP 可以运行 CONTRAST AF、PDAF、LASER AF 等算法实现自动对焦。
③EXPOSURE
曝光。EXPOSURE 主要影响图像的明暗程度。ISP需要实现 AE 功能，通过控制曝光程度，使得图像亮度适宜。
④ WB
白平衡。白平衡与色温相关，用于衡量图像的色彩真实性和准确性。ISP需要实现 AWB 功能，力求在各种复杂场景下都能精确的还原物体本来的颜色。
⑤ LSC
用于消除图像周边和图片中心的不一致性，包含亮度和色度两方面。ISP 需要借助 OTP 中的校准数据完成 LSC 功能。
⑥ GAMMA CORRECTION
伽玛校正。传感器对光线的响应和人眼对光线的响应是不同的。伽玛校正就是使得图像看起来符合人眼的特性。

⑦ CROP/RESIZE

图像剪裁，即改变图像的尺寸。可用于输出不同分辨率的图像。

⑧ VRA

视觉识别。用于识别特定的景物，例如人脸识别，车牌识别。ISP 通过各种 VRA 算法，准确的识别特定的景物。
⑨ DRC
动态范围校正。动态范围即图像的明暗区间。DRC 可以使得暗处的景物不至于欠曝，而亮处的景物不至于过曝。ISP 需要支持 DRC 功能。
⑩ CSC
颜色空间转换。例如，ISP会将 RGB 信号转化为 YUV 信号输出。
图像稳定。
11. IS
IS 的主要作用是使得图像不要因为手持时轻微的抖动而模糊不清。IS 有很多种，例如 OIS、DIS、EIS。ISP 可以实现 DIS 和 EIS。
事实上，ISP 除了上面提到的主要功能外，还需要支持 DENOISE CONTRAST、SATURATION、SHARPNESS 等调整功能。
4.ISP主要支持的图像处理功能如下：

4. AP 对 ISP 的操控方式

CPU处理器包括：AP、BP、CP。 BP：基带处理器、AP：应用处理器、 CP：多媒体加速器。
① I2C/SPI
这一般是外置 ISP 的做法。SPI 一般用于下载固件、I2C 一般用于寄存器控制。在内核的 ISP 驱动中，外置 ISP 一般是实现为 I2C 设备，然后封装成 V4L2-SUBDEV。
② MEM MAP
这一般是内置 ISP 的做法。将 ISP 内部的寄存器地址空间映射到内核地址空间，
③ MEM SHARE
这也是内置 ISP 的做法。AP 这边分配内存，然后将内存地址传给 ISP，二者实际上共享同一块内存。因此 AP 对这段共享内存的操作会实时反馈到 ISP 端。
5.ISP处理流程

图像产生过程：景物通过Lens 生成的光学图像投射到 sensor 表面上，经过光电转换为模拟电信号，消噪声后经过 A/D 转换后变为数字图像信号，再送到数字信号处理芯片（ DSP）中加工处理。
所以，从 sensor 端过来的图像是 Bayer图像，经过黑电平补偿
（black level compensation）、镜头矫正（lens shading correction）、坏像素矫正（bad pixel correction）、颜色插值（demosaic）、Bayer 噪声去除、白平衡（awb）矫正、 色彩矫正（colorcorrection）、gamma 矫正、色彩空间转换（RGB 转换为 YUV）、在YUV 色彩空间上彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制等，然后输出 YUV（或者RGB）格式的数据， 再通过 I/O 接口传输到 CPU 中处理。