车载相机IQ调试策略

1、车载相机应用及概述：

• 应用：

自动驾驶/ADAS( Advanced Driver Assistance Systems)：完全是信息型的图像质量的需求，给机器视觉用的，包括交通灯、斑马线、限速标识等，车道检测、距离检测。

另外后视、环视等：会接有一个显示屏，供人眼来观察，查看行人/物品之类的，它不止是信息型的，还要兼顾人眼视觉，但审美类的需求不是那么高，类似监控相机，信息型及审美型都要兼顾，属于混合型 IQ。

• IQ 标准：P2020 

• IQ Design：machine vision based + human vision based

• IQ 策略：

机器视觉：CDP+CSP (contrast detection probability + Color separation probability)，对比度多大时，能检测到的概率，及颜色区分的概率是多大

人眼视觉：Visibility ，和监控相机需求相似，都属于高动态成像的范畴

2、车载相机调试关注要点；

• Sensitivity：感光度，也就是要足够的亮，太黑了就看不到信息；

• frame rate：帧率，因为车是在跑，而且跑的很快，距离上面的分辨率很低，有可能看到的是若干毫秒（多少米）之前的影像了，所以要求帧率一般60fps以上 ，甚至有的要求120fps以上；

• Motion Artefact Free (MAF)：车载最重要的指标安全性，motion artefact 会影响驾车者的判断；

• LED Flickering Mitigation (LFR)：交通灯/车灯的闪烁，不能确定是灯故意在朝你闪呢，还是本身车的问题，会分散驾车者的注意力，影响安全性；

• EXtreme High Dynamic Range (EHDR)：因为车是在外面跑的，尤其是过隧道的场景(外面是几万lux，而里面是几lux)，要求要有极大的动态范围(称为EHDR)，监控叫HDR，一般是100-120dB，车载要求是140dB以上；

• SNR & SNR Drop：和监控相机不同，不止关注信噪比，还有关注信噪比下降区域的形态，下降太多了不行，会产生干扰驾车者的判断的东西；

• Geometry Distortion：一般会用大视场范围的鱼眼镜头，会存在畸变的影响；

• Lens Flare in EHDR：由于镜头的一些特性，在高动态范围下会产生一系列干扰人眼视觉的东西；

3、车载相测试场景：

如上图，测试场景要覆盖如上提到的注意点：

a、图中后面有太阳强光、白雪、山的阴影，模拟高反射率，高动态范围的场景；

b、图中有车灯、信号灯，测试LED灯频闪问题；

c、隧道、房屋处的阴影，测试动态范围；

d、草木、房子、红绿灯的色彩还原；

e、右边的光源，测试高曝光场景下的可见性，关灯后可测试相应感光度的性能指标；

实际测试要开着车在不同的天气下（阴天、雨天、晴天、雪天），不同的时间段、不同的场景下去验证，另外也要考虑车的震动，灰尘等对相机的影响；

4、典型应用场景说明：

• Sensitivity：这是对感光性能的要求，左图是人眼视觉的效果，必须要满足如下右图的效果，你才能看清周围的物体，进行倒车，停车等的操作；

• Fisheye lens ：车载一般会配这种大广角的鱼眼镜头，会带来畸变、shading、眩光等一系列问题，很多车载的应用会配畸变矫正模块，有的 sensor 中就会配畸变矫正模块；

• Extreme High Dynamic Range

如下左图，动态范围不够的话，外面场景就完全饱和了；

• Temperature

车的 sensor 温度范围很大，要求一般是要达到 -40℃--125℃，随着温度升高，对图像质量影响很大，要实时的去调节各温度场景下影响图像质量的因素；

• Image Quality And Safety

图像质量和安全性的要求，是机器视觉应用里面最重要的方面，如下在一些逆光、低照下会影响车道、标识的识别，带来很大的安全隐患.

怎么从 IQ 角度来解决如上问题 ？

CDP（contrast detection probability）：如下图所示，随着对比度的增加（从1%-35%），A物体和B物体能够区分出来的概率也就越大（也就是CDP就越大，AB之间的距离），则机器视觉就能识别该物体了，这就是CDP的原理。

如下图所示，可以分析出机器视觉的相机分辨物体的能力，X轴是亮度，Y轴是CDP，0-1lux很暗的场景下CDP为0，不同对比度下的CDP不同（其中的3条曲线，对比度%1，CDP是0.3几、对比度%10，CDP是0.5几、对比度%35，CDP是0.8几），受信噪比、温度等的影响CDP也会下降，饱和的亮度下CPD是0，也是识别不到物体的；

所以从应用上来说，我们在调试机器视觉的设备时，就不是传统的那种调试方式了，而是应该要想着如何去提高他CDP的数值。要从lens、sensor 、ISP、模组的角度去综合考量这些问题。

CSP（Color Separation Probability）：车载上还有一个比较不同的地方是color fiilter array 非常的多，有传统的 RGGB 格式，也有RCCB、RCCC、RYYCy、RGBIR，其他格式中带C的是指，换成了透光的，可以允许所有颜色的光进来，提高了感光度，但缺点是牺牲了色彩，但车载的机器视觉中的相机也不是太在意颜色，能区分红绿灯、车道标识的颜色指示线也就可以了，所以在评价色彩时，也要用不同的方法。称为CSP（Color Separation Probability）,用来评价相机对色彩区分的能力，如下图所示会用类似的光谱仪去测量各个标识物的颜色，测试相机对不同颜色的区分能力，而不是关注单个颜色的还原。

车载机器视觉的图像传感需求，可查看这篇文章的描述：车载机器视觉的图像传感需求——Mobileye在2021图像传感器工作会议上的演讲

5、总结

车载的应用是非常分化的，他有些部分是符合监控的、有些部分是符合传统摄影学的、有些部分是符合机器视觉的，所以要根据每个相机的具体应用，去适配合适的 IQ 调试方式。