作者:Aili-Light | 公众号:艾利光科技
如果要对比两台相机的性能,我们应该关注哪些参数呢,是焦距、像素、还是光圈大小?这些参数通常广为人知,并且很容易做出对比。上篇文章(《车载摄像头CMOS的性能评测标准》)我们提到,在一些专业领域,例如机器视觉、自动驾驶等行业,计算机算法对图像有着独特的要求,因此更应该关注暗噪声的变化、动态范围大小等参数。
那么在专业领域评价图像传感器的质量,我们又应该关注哪些参数,这些参数的意义是什么呢?EMVA(European Machine Vision Association)1288(图1)是专为相机图像传感器的测试而设计的标准。该标准定义了一系列的参数以及规范化的测量方法,例如量子效率、动态范围、灵敏度等等。
图1 EMVA1288标准
本文详细地介绍EMVA1288的各项参数的定义,提供推导计算公式。为了更好地理解这些指标的物理意义,我们从光电信号的转化开始,一步步深入探究,解释图像传感器的电子系统是如何采集信号的,为何会带来噪声,如何分析信噪比、动态范围等参数。最后,我们给出一些常见的图像传感器测试结果,给读者选择时作为参考。
图2 图像传感器的信号产生原理
图2说明了图像传感器内部的电子信号处理过程,光线通过相机镜头聚焦在图像传感器(sensor)上,内置的光电二极管将光子(p)转化为电子(e-),这个过程的转化效率叫做量子效率 Quantum Efficiency,QE)。通过一系列的电路设计,系统将这些电荷收集在像素内部,随后通过采样电路获读取其电荷值。
根据光学原理,入射的光强度可以用公式(1)计算:
其中:Top:镜头的透光率,I:入射光强度,单位是W/(sr*m2),θ:入射光与镜头的倾斜角,F:镜头的光学孔径,定义为F=Φ/f,Φ是镜头的通光面的直径,f是镜头焦距。
在相机的曝光时间,落在每个像素上的的光子数可表示为:
其中,Ee:照射在图像传感器上光强度,Ap:像素的面积,texp:曝光时间,Wc:每个光子的能量,根据波长定义为Wc=hc/λ,h是玻尔兹曼常数,λ是光的波长。
根据量子力学的波粒二象性原理,光线是由离散的光子构成,每个光子散落在图像传感器上,都是一个独立的事件。因此从统计学角度来看,一段时间内的光子数应服从泊松分布,其均值和方差分别为:
这些光子通过像素内置的光电二极管,会产生一定数量的电子,假设光电转化的量子效率(Quantum Efficiency)为η,可计算出电子数量的均值和方差分别为:
量子效率是衡量图像传感器性能的一个重要的物理指标,CMOS图像传感器的量子效率通常在10%-80%之间,主要取决于光电二极管p-n结的结构和尺寸,并且跟波长有较大的关系(见上一篇文章《车载摄像头CMOS的性能评测标准》)。
图像传感器的噪声分为固定模式噪声(Fix-Pattern Noise)和暂态噪声(Temporal Noise)。其中固定模式噪声与时间无关,是由于不同像素间的不一致性所致。对于同一颗图像传感器芯片,固定模式噪声与空间位置相关,但会随着不同图像传感器芯片而异。相反,暂态噪声与空间无关,其出现的空间位置是随机的,强度会随着时间而涨落。
我们先讨论暂态噪声。暂态噪声与时间相关,具有一定的随机性,例如暗噪声、采样噪声等。在一定积分时间内,我们可以统计这类噪声的均值和方差,作为衡量噪声水平的依据。
光电效应产生的电流,要通过一系列的MOS管、电容等器件,转换成电荷,才能变成可被采样的信号。在这个电路转化的过程中(图3),系统会引入一些噪声,例如暗噪声(Dark Noise)。暗噪声指的是当没有光线照射的时候,电路内部的固有电流,其通过积分成为暗电荷并存储在像素内,暗电荷的数量与积分时间成正比,同时也和温度有关系。在这里我们把暗噪声的均值和方差记作μd,σd2。暗噪声越低的图像传感器,性能就越好,一般来说暗噪声的范围在[0-50]e-(电子)。
如图3所示,电子信号在传感器内部被放大,放大倍率(K)定义为电路增益(Gain)。增益可分为模拟增益和数字增益,两种增益可独立使用,有各自的倍率,最终的电路增益是两种增益的乘积。最后,采样电路将电信号转化为数字信号输出(Digital value),数字信号的强度均值和方差分别为:
电子信号的信噪比可定义为,信号的均值除以噪声的平方差:
例如SNR=100意味着信号比噪声大100倍,通常人眼能接受的信噪比在SNR<50的范围内。对图像传感器系统来说,信噪比可以写做:
一个理想的相机,应该满足:η=1,σd=0,并且信号强度远高于噪声,因此从公式(7)可推算出,理想相机的信噪比为:
图4展示的曲线表明,理想相机与实际相机的信噪比差异。
图4 理想相机与实际相机的信噪比关系
灵敏度阈值意味着传感器可以接收到的最小信号,当信号强度很低的时候,公式(7)可简化为:
EMVA1288标准把灵敏度阈值定义为达到SNR=1所需要的入射光子数,可通过公式(9)推导出来:
灵敏度阈值越低的图像传感器,越能接收到微弱的光信号,性能就越强。通常这个阈值的范围是[1-10] Ƴ(光子)。
动态范围是传感器能接收到的最大信号和最小信号之间的比值,即:
其中μp,max指的是使信号饱和的光子数量。信号饱和值是来自于电路对电荷的存储能力上限,像素的内置电容越大,其饱和值就越高,通常这个饱和值在[105 – 106]Ƴ(光子)。像素饱和之后,就无法再接收更多的光子,在图像上体现为“过曝”的效果。μp,min即公式(10)中的最小信号。
固定模式噪声通常有两个来源,一是由于暗信号不一致性(Dark Signal Non-uniformity,DSNU)带来的偏置(offset),另一个是由于光响应非均匀性(Photon Response Non-uniformity,PRNU)引起的灵敏度(sensitivity)差异。考虑固定模式噪声,信噪比的公式应修正为:
其中,DSNU的数值大小一般在[0-1]e-(电子),而PRNU大约是1%左右。由于每颗图像传感器的都有差异性,因此DSNU和PRNU没有统一的计算公式。同样属于固定模式噪声的还有白噪声(White Noise),周期性的模式噪声等等。
综上所述,表1总结了以上提到的各项参数,参数的定义、说明(与什么因素相关)、参数单位等信息。
参数 | 定义 | 说明 | 单位 |
---|---|---|---|
量子效率 QE | 光子转化为电子的效率 | 与像素设计有关 | 百分比% |
暗噪声 DN | 当没有光照时电路系统产生的噪声 | 取决于传感器的电路设计 | 电子e- |
饱和值 ST | 每个像素所能承载的最大电荷数 | 与像素设计有关 | 电子e- |
信噪比 SNR | 信号与噪声的比值 | 取决于传感器的设计 | 分贝dB |
动态范围 DR | 传感器接收的最大信号与最小信号的比例 | 取决于传感器的设计 | 分贝dB |
灵敏度阈值 AST | 传感器能感知的最小光信号 | 取决于传感器的设计 | 光子Ƴ |
表1 EMVA1288对图像传感器的评估参数以及定义
由于每个参数之间有一定的相关性,因此单独评估其中某一个参数,或某几个参数,对整体图像的影响,都是不完整的。我们可以通过测量系统输出信号的均值-方差关系,去评价整个图像传感器系统的性能。图5展示的是理想系统的均值-方差曲线和实际情况的差异。
图5 理想系统的均值-方差曲线和实际情况的差异
表2列出了一些常见的车载/工业级图像传感器的参数实测值,供读者选择时作为参考。
型号/ 靶面尺寸 |
像素 | 像素尺寸 | QE | DN[e] | SNR[dB] | AST[γ] | DR [dB] |
---|---|---|---|---|---|---|---|
IMX390 1/3’’ |
1920*1080 | 3.0μm | 57.6% | 3.90 | 40.9 | 8.27 | 68.3 |
IMX424 (RGGB) 1/1.7’’ |
3840*1920 | 2.25μm | 56.4% | 1.69 | 39.8 | 4.36 | 72.3 |
IMX424 (RCCG) 1/1.7’’ |
3840*1920 | 2.25μm | 82.2% | 0.39 | 40.2 | 2.92 | 72.3 |
OX08B 1/1.7’’ | 3840*2160 | 2.1μm | 42.6% | 3.38 | 38.0 | 10.25 | 63.0 |
SC120AT 1/4’’ | 1280*960 | 3.0μm | 59.2% | 26.88 | 42.3 | 55.8 | 53.6 |
IMX428 1.1’’ | 3208*2200 | 4.5μm | 51.79% | 2.77 | 40.44 | 5.38 | 70.59 |
IMX287 1/2.9’’ | 720*540 | 6.9μm | 61.82% | 3.80 | 43.51 | 7.55 | 74.43 |
IMX392 1/2.3’’ | 1920*1200 | 3.45μm | 60% | 2.38 | 40.32 | 4.81 | 71.45 |
IMX265 1/1.8’’ | 2048*1536 | 3.45μm | 59.66% | 2.31 | 40.30 | 4.93 | 71.74 |
AR0134 1/3’’ | 1280*960 | 3.75μm | 57% | 5.12 | 37.49 | 9.73 | 59.97 |
表2 常见的车载/工业图像传感器的参数实测值