相机图像质量概述

前言：

对很多刚入行做camera tuning的小伙伴来说，可能对图像质量还不是很了解，包括我自己刚开始接触这一行的时候也是一样，不清楚ISP是什么，为什么要调它，影响画质的因素又有哪些，哪些是ISP能调的，哪些又不能调的，所以本文主要是从概念上简单介绍下图像质量，从图像质量介绍、成像系统介绍、影响图像质量的典型因素举例，三块内容来概述的，希望对刚入行的小伙伴有所帮助，可以加深一下对图像质量的理解；

目录

1、图像质量介绍

1-1、成像产品的分类

1-2、图像质量分类

1-3、成像产品的图像质量要求

2、成像系统介绍

2-1、成像系统组成

2-2、成像系统的两条基本主线

2-3、成像系统的实时控制

3、影响图像质量的典型因素举例

3-1、光学及镜头、IR相关的图像质量问题 

3-2、CMOS Sensor 相关的图像质量问题

3-3、ISP 相关的图像质量问题

3-4、Encoder 相关的图像质量问题

3-5、显示相关的图像质量问题 

---

1、图像质量介绍

1-1、成像产品的分类

   

1-2、图像质量分类

• 审美型 （  人眼评判 ）

        no artefacts !  color，noise，detail，focus speed、etc

• 信息型（ 机器识别、检测 ）

        fast，no information lost，visibility，certain level tolerace to artefacts、etc

• 根据图像质量需求的成像产品分类

1-3、成像产品的图像质量要求

审美类成像产品的图像质量要求

• 单反相机 -- 真实的还原现实世界，需要遵循一定的客观成像标准CIPA，ISO，如有艺术创作的需要可以用PS等软件对照片进行后处理；

• 手机相机 -- 偏向于人眼视觉，对人/人脸的拍摄有一定要求；

• 无人机/ 运动相机 -- 视频的稳定性（防抖、不允许画面突变），对人/人脸的拍摄有一定要求；

• 监控相机 -- 低照度噪声（时域，空域）、HDR、高锐度、对人/人脸的拍摄有一定要求；     

信息类成像产品的图像质量要求

• 机器视觉相机 -- 人/人脸、 高感光度；

• Home Camera -- 家用相机，和监控相机类似，对人脸识别有一定要求；

• 车载相机 -- 高动态范围、高感光度、高帧率、motion artefacts、stitching artifacts、满足一定的人眼视觉（有前视/后视的摄像头是人眼来看的）；

2、成像系统介绍

2-1、成像系统组成

        

• 要理解图像质量，就必须要了解整个成像系统的组成，搞清楚整个成像系统中有哪些模块会影响图像质量，如上以成像过程来描述，光源（包含人造光、自然光、闪光灯）照到物体上，光线反射进入成像系统，经过镜头（对于变焦镜头有驱动马达调整镜片位置，实现变焦）、光圈、滤光片、快门到达Sensor上成像，接着出来数字信号传到ISP进行图像处理，ISP输出YUV格式的数据，用于显示或者经过编码后进行存储，又或者用于机器视觉；所以影响图像质量的因素有很多，包括光源、镜头、滤光片、Sensor、ISP、显示器的显示、编码 ........

• 理解一下就是光源、镜头、光圈、滤光片、快门、Sensor构成了一个完整的光学成像系统，但由于光学和半导体的缺陷与局限会导致成像的一系列问题，就需要经过ISP，用数字信号处理的方法去克服光学，半导体的缺陷导致的成像问题，处理完并得到较好的图像后，就用来进行图像的显示、存储、或者机器视觉的检测识别等应用；

• 总结：整个成像系统是一个软硬结合、光机电结合的复杂系统，做有些系统架构和硬件架构的人，有必要了解整个系统，才能够设计出正确的架构，包括做图像质量的也是从系统角度去处理问题，同样要了解整个系统，才能更好的完成工作；

    

2-2、成像系统的两条基本主线

图像重建 --- 清晰勾画出正确的景物（ 图像重建的过程，就是用数字信号处理的方法去克服光学、半导体的缺陷，清晰勾画出正确的景物 ）

• 光学缺陷与局限： MTF、像差、场曲、vignetting（光晕，暗角）/luma shading（亮度阴影）、glare（眩光）、Geometry Distortion（几何失真）

• 半导体缺陷与局限：defect pixel、sensitivity、dynamic range、noise：temperal noise、fix pattern noise、color noise、spatial noise

色彩重建 --- 还原出准确丰富的色彩 （ 有时还要符合人们主观倾向的色彩 ）

• 光学缺陷与局限：Color shading、chromatic aberration、purple fringe

• 半导体缺陷与局限：Cross talk、balck level

2-3、成像系统的实时控制

一般从硬件厂商那边拿到的相同产品，成像效果都是差不多的，所以要有更好的用户体验就必须在软件上面增加自己的优化，如3A算法、后处理算法；

• 系统的静态参数：black level、shading、noise profile、white balance、chromatic aberration correction

• AE\AWB\AF（自动曝光、自动白平衡、自动对焦）：达到曝光/白平衡/对焦的“快”、“准”、“稳”

• 系统的动态参数：shading，CCM， black level，noise reduction，sharpening

3、影响图像质量的典型因素举例

3-1、光学及镜头、IR相关的图像质量问题 

• 畸变

拓展： https://app.yinxiang.com/fx/9e7f52b0-0fd6-4ab4-96fd-7f150ce8eebd

出现原因：

畸变产生的根本原因是镜头像场中央区的放大倍率和边缘区的放大倍率不一致，（ 为什么不一致呢？）中央放大率大于边缘放大率产生桶形畸变，常见短焦镜头，反之产生枕形畸变，常见于长焦镜头；

措施：有相应的畸变校正模块可以矫正畸变，但会损失视场角，所以需要权衡到一定范围；

• luma shading

出现原因：

1、镜头靶面小于sensor靶面；

2、 Lens CRA小于Sensor CRA，芯片边缘受光不足 ；

注 ① ：Lens CRA： 从镜头到传感器一侧，可以聚焦到像素上的光线的最大角度。

注②： Sensor CRA： Micro Lens在保证像素感光效能为中心80%的前提下，能纠正的最大光路角度 （  就是如上的 Micro Lens与 光电二极管的 l位置存在 一个水平误差, 用来匹配Lens ）。

措施：

1、Sensor和Lens 选型时，靶面搭配正确、CRA角度尽可能接近，要求在3度以内 ；

2、ISP中有相应的镜头阴影矫正模块，但四周也不能提的过亮，否则会带来噪声；

• color shading

详见： What is CRA_硬件工程师炼成之路的博客-CSDN博客

出现原因：

LensCRA大于SensorCRA，光线折射到临近的pixel，导致pixel之间出现串扰 ；

注 ① ：Lens CRA： 从镜头到传感器一侧，可以聚焦到像素上的光线的最大角度。

注②： Sensor CRA： Micro Lens在保证像素感光效能为中心80%的前提下，能纠正的最大光路角度 （  就是如上的 Micro Lens与 光电二极管的 l位置存在 一个水平误差, 用来匹配Lens ）。

注 ③ ： 如上图1，sensor 上micro lens的作用就是聚焦光线，把入射光线引入到正确的像素点上，当入射光线的CRA角度超过sensor 的CRA时，就会导致经过R-filter的光线，照到了G像素上，造成像素之前的串扰，出现color shading；

注 ④ ： 如上图2，Lens的CRA很难是0，视场范围越大的镜头，其CRA值就越大（也就是入射光线在sensor上与光轴的夹角越大），sensor 上的微镜头要与镜头做匹配，就需要通过移动微镜头将大角度的入射光线引导到正确的像素上，才能保证图像正常，避免color shading出现；如图2若Lens CRA 大于Sensor CRA，则sensor无法通过位移微镜头，矫正全部的大角度入射光线到正确的像素，会导致出现color shading，若Lens CRA 小于 Sensor CRA，则sensor 边缘像素就会受光不足，导致出现luma shading 。

措施：

1、sensor和lens 选型时，首先要保证CRA角度要尽可能接近，要求在3度以内；

2、ISP中也会有相应的Lens shading calibration 模块去做进一步的处理，通常是luma shading 和 color shading 放在一起做，luma shading的部分，主要是着重四周和中心的均匀度补偿；color shading部分是根据R、G、B 3个不同的通道，做RG,BG的补偿， 保证中心和四周RG、BG的比例是一个相等的常数；

• 眩光、鬼影

详见： https://blog.csdn.net/qq_35247586/article/details/114155559

出现原因：强光直接射入成像系统，或者入射光在镜片、IR之间的反射、散射，导致出现类似光晕及异常的成像现象，光源周围类似雾化的现象叫眩光，画面中多出的异常影像叫鬼影；

措施：理论上不可以消除，只能通过镀膜、或者IR来减弱 ；

• 紫边

出现原因：

镜头没有把不同波长的光线聚集到同一焦平面（不同波长的光线焦距是不同的）；

成像系统一般将绿色通道准确对焦，然而由于镜头色差，蓝色和红色通道不能完全准确对焦，从而使物体边缘出现紫红色的色边；

注：1>. 实际就是色差导致了R ≠ G ≠ B，所以才会有了颜色；紫色就是R、B通道的分量 > G通道的分量；

措施：对镜头做色差矫正、ISP中有相应的去紫边模块；

3-2、CMOS Sensor 相关的图像质量问题

• 坏点

出现原因：

1、工艺上：在sensor的制作过程中有灰尘等引起；电子产品的寿命有限，导致使用时间增加而引起坏点；

2、noise:  sensor gain增大，温度增高等；

措施：sensor 和 ISP 都有相关去坏点的模块，ISP去坏点强度过大的话，会导致损失清晰度，需权衡

• 噪声（Fix pattern noise 、热噪）

出现原因：

1、FPN和sensor 相关，类似上图这种不动的竖条纹都和sensor相关，横条纹和硬件相关；

2、热噪，就是camera 产品内部温度过高，导致的sensor 出现噪点，可能与芯片功耗过高、外壳空间小 ；

措施：

1、bringup sensor时，提高增益，验证是否有FPN，有的话就要找sensor 厂修改sensor 相应寄存器；

2、主控降频，降低功耗、更改机构（换4层板、主控芯片和sensor 分开、换大空间的外壳大散热片）、sensor有类似的高温参数的修改；

• sensor filp/mirror

sensor mirror/filp功能是硬件设计时，来保证和设计的成像方向保持一致，不能作为功能去使用；

原因：

1、经过mirror/filp 后sensor 读取位置变了，bayer格式也变了 ，对于一些要依赖calibration数据的模块，数据肯定是有差异的，比如shading；

2、经过mirror后，拍出的colorcheck的raw图也是镜像的，没办法进行ccm、blc的校正 ( ISP的调试流程，一般是先根据拍出的raw图，进行矫正 ）；

措施：ISP去做filp/mirror的功能、后端应用层去做；

3-3、ISP 相关的图像质量问题

• 运动拖影

1、时域降噪强度过大导致的拖影

措施：降低时域降噪强度 ( 调试时可以通过bypass 相应的模块来做验证是否是它导致的 ) ,但可能会导致动态噪声明显，需权衡；

2、曝光时间过长导致的拖影

出现原因：运动物体整个运行过程都是在cmos上成像的，所以拍出的照片就有拖影， 只有当曝光时间足够快，物体相对于相机就是相对静止的，也就看不到有拖影了；

措施：就因为曝光不充分，所以要曝光时间长，可以换成高感光度的sensor, 以此就可以减小曝光时间；

3、HDR算法中，多帧融合导致的拖影

4、果冻效应

出现原因：使用逐行曝光的sensor所致，因为sensor是逐行曝光的，行与行之间有时间差，当拍摄快速运动的物体时，会导致成像物体会有扭曲，被拉长了，注意要和曝光时间导致的拖影做区分，曝光时间过长会有拖影，但不会导致成像物有变形；

措施：

1. 如果使用卷帘快门（Rolling Shutter）的摄像机，尽量提高摄像机的拍摄帧率，实际上是减少形成一帧画面所使用的扫描时间，这样在短时间内物体移动并不明显，能缓解果冻效应。

2. 换用全局快门（Global Shutter）的相机，采用CCD感光元件彻底解决果冻效应。全域快门（Global shutter）：传感器上所有像素点在同一时间同时收集光线，同时曝光。对于抓拍高速运动的物体CCD优劣势：由于技术限制，很难将巨大的数据量同时处理。

3.设置逐行读取的速度，将其设置的更快更高，这样也能避免果冻效应，尽量减少本身所处环境的震动情况。提高快门的速度，直接采取高速快门。

3-4、Encoder 相关的图像质量问题

Encoder目的就是将原始的ISP输出的图像进行压缩，使传输、存储的size变小，由于压缩过程中，算法或者资源不足的问题，导致的图像质量损失，所表现出的形式有很多种，具体如下；

• mosaic

• ringing （震铃）

文字及图像边缘出现很多条边，在拍摄文字图像时比较常见；

• contouring

类似等高线现象；

• blurry（模糊）

• mosquito （蚊子噪声）

3-5、显示相关的图像质量问题 

• 电视的PQ（ Picture-Quality）会导致Camera 显示效果不一致（亮度、色彩、噪声等方面）；
• 显示器色域、色准差异会导致Camera 显示效果不一致；

注： 【硬件科普】显示器的色域和色准是什么东西？他会影响哪些体验_哔哩哔哩_bilibili

如下图所示，显示器有不同的规格差异，包括色域、色彩空间、色准，这些都会影响camera输出的效果，效果测试时要注意到这些；

参考：大话成像图像测试测量课程