ISP学习（1）

参考博客： https://blog.csdn.net/tyfwin/article/details/90487890
参考网上的博客，过滤一遍对于ISP的理解

一、什么是isp

ISP是Image Signal Processor 的简称，也就是图像信号处理器。
ISP一般用来处理Image Sensor（图像传感器）的输出数据，如做AEC（自动曝光控制）、AGC（自动增益控制）、AWB（自动白平衡）、色彩校正、Lens Shading、Gamma 校正、祛除坏点、Auto Black Level、Auto White Level等等功能的处理。
说到ISP就一定得说说DSP。
DSP是Digital Signal Processor 的缩写，也就是数字信号处理器。
DSP功能相对较多，它可以做些拍照以及回显（JPEG的编解码）、录像以及回放（Video 的编解码）、H.264的编解码、还有很多其他方面的处理，总之是处理数字信号了。ISP是一类特殊的处理图像信号的DSP。

个人理解为：ISP可以是帮助图像成像之前的一些处理，比如曝光度，成像的清晰度，这种。DSP是图像成像之后的处理，在成像的图片后进行识别，添加文字这种,相对来说，DSP的功能比较多。

二、ISP的框架

ISP可以看作一个独立soc，因为他的内部也包含CPU、SUP IP、IF 等设备，可以运行各种算法程序，实时处理图像信号。这里借助网上的一张图片可以看到ISP的内部框架。

1、 CPU：CPU 即中央处理器，可以运行 AF、LSC 等各种图像处理算法，控制外围设备。现代的 ISP 内部的 CPU 一般都是 ARM Cortex-A 系列的，例如 Cortex-A5、Cortex-A7。
2、 SUB IP：SUB IP 是各种功能模块的通称，对图像进行各自专业的处理。常见的 SUB IP 如 DIS、CSC、VRA 等。
3、 图像传输接口：图像传输接口主要分两种，并口 ITU 和串口 CSI。
4、 CSI 是 MIPI CSI 的简称，鉴于 MIPI CSI 的诸多优点，在手机相机领域，已经广泛使用 MIPI-CSI 接口传输图像数据和各种自定义数据。外置 ISP 一般包含 MIPI-CSIS 和 MIPI-CSIM 两个接口。内置 ISP 一般只需要 MIPI-CSIS 接口。
5、 通用外围设备：通用外围设备指 I2C、SPI、PWM、UART、WATCHDOG 等。ISP 中包含 I2C 控制器，用于读取 OTP 信息，控制 VCM 等。对于外置 ISP，ISP 本身还是 I2C 从设备。AP 可以通过 I2C 控制 ISP 的工作模式，获取其工作状态等。

三、ISP的逻辑控制

lens(透镜) 将光信号投射到sensor (传感器)的感光区域后，sensor 经过光电转换，将Bayer 格式的原始图像送给ISP，ISP 经过算法处理，输出RGB空间域的图像给后端的视频采集单元。在这个过程中，ISP通过运行在其上的firmware（固件）对ISP逻辑，从而对lens 和sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中，firmware的运转靠视频采集单元的中断驱动。
这里我绘制了一个简单的图片：

依旧借助网上的图片，可以更加完整的看出逻辑，但是具体的一些步骤还需要完善了解。PQ Tools 工具通过网口或者串口完成对ISP 的在线图像质量调节。 ISP 由ISP逻辑及运行在其上的Firmware组成，逻辑单元除了完成一部分算法处理外，还可以统计出当前图像的实时信息。Firmware 通过获取ISP 逻辑的图像统计信息，重新计算，反馈控制lens、sensor 和ISP 逻辑，以达到自动调节图像质量的目的。
图像中的I2C/SPI一般是外置 ISP 的做法。SPI 一般用于下载固件、I2C 一般用于寄存器控制。在内核的 ISP 驱动中，外置 ISP 一般是实现为 I2C 设备，然后封装成 V4L2-SUBDEV，也就是我们现在android底层的V4l2的框架。
MEM MAP：这一般是内置 ISP 的做法。将 ISP 内部的寄存器地址空间映射到内核地址空间，MEM SHARE：这也是内置 ISP 的做法。AP 这边分配内存，然后将内存地址传给 ISP，二者实际上共享同一块内存。因此 AP 对这段共享内存的操作会实时反馈到 ISP 端。

四、ISP上的Firmware包含三部分

ISP 的Firmware包含三部分，一部分是ISP 控制单元和基础算法库，一部分是AE/AWB/AF 算法库，一部分是sensor 库。Firmware 设计的基本思想是单独提供3A算法库，由ISP控制单元调度基础算法库和3A 算法库，同时sensor 库分别向ISP 基础算法库和3A 算法库注册函数回调，以实现差异化的sensor 适配。ISP firmware 架构如图所示。不同的sensor 都以回调函数的形式，向ISP 算法库注册控制函数。ISP 控制单元调度基础算法库和3A 算法库时，将通过这些回调函数获取初始化参数，并控制sensor，如调节曝光时间、模拟增益、数字增益，控制lens 步进聚焦或旋转光圈等。
这些对应的算法库我们暂时都不了解，我们可以先放着，先了解大概知识。

五、内置isp和外置isp

就好像我们手机自己会带有音乐播放器，为啥我们还要去下载额外的播放器呢，因为其余的播放器做的更好，功能更多，对于我们的ISP也是，我们内置ISP可以满足需求，但是上限低，所以我们有时候会选择外置ISP.
当应用处理器（ap）处理ISP的时候，会对内置外置isp进行不同的处理。

5.1 内置ISP

内置ISP的优点：
内置 ISP 内嵌在 AP 内部，因此无需像外置 ISP 一样需要额外购买，且不占 PCB 空间，无需单独为其设计外围电路，这样就能节省 BOM，降低成本。鉴于大多数用户在选购手机时会将价格因素放在重要的位置，因此降低成本能有效的降低终端成品价格，有利于占领市场。
内置ISP的缺点：
上限低，可能没有外置iISP那么强悍。

5.2外置ISP

外置ISP的优点:
与AP无关，可以单独选型，而且专业的ISP会又很好的效果，能够提供比内置 ISP 更优秀的性能和效果。因此，选用优质的外置 ISP 能提供专业而且优秀的图像质量。
缺点:
价格贵，需要进行额外的调试，需要时间,相对来说，研发周期长。