【ISP】如何评估相机灵敏度

1.EMVA1288简介

比较帧率、分辨率和接口等基本相机规格很容易；使用我们新的相机选择工具筛选并排序 14+ EMVA 规格，找到完全符合您的项目要求的产品。 但是，比较相机的成像性能，例如量子效率、颞暗噪音和饱和量，则有点复杂。 首先，我们需要理解这些各种测量值真正意味着什么。

什么是量子效率及在峰值或在特定波长下测得值是什么？ 信噪比如何不同于动态范围？ 本白皮书将会解答这些问题，并会解释如何根据成像性能数据、遵循 EMVA1288 标准比较和选择相机。

EMVA1288 是一套定义要测量相机哪方面的性能、如何测量及如何用统一的方法呈现结果的标准。 白皮书的第一部分将会帮助了解成像传感器成像性能的各个方面。 它将会概述对理解何时考虑图像传感器如何将光转化成数字图像很重要的基本概念，并最终定义传感器的性能。 图 1 呈现单一像素并强调这些概念。

EMVA1288下载链接

链接：https://pan.baidu.com/s/1xUMbweTW7Xb1-qZ0VZp7-Q 
提取码：0d5d  

图 1：图像传感器如何把光线转换为数字图像

首先，我们要了解光本身的噪声。 光包括光源生成的离散颗粒、光子。 因为光源在随机时间产生光子，感知光密度时就会产生噪音。 光的物理学表明，光密度方面观测到的噪音，同等于光源所生成光子数的平方根。 这个噪音类型称为散粒噪声。

应该注意的是，一个像素观测到的光子数将会取决于曝光时间和光密度。 这篇文章考虑光子数位曝光时间和光密度的组合。 同样地，像素大小对传感器的光收集能力有非线性影响，因为其需要平方，以确定光敏感区域。 这在下一篇文章中，比较两个相机的性能的篇幅中，将会有更详细的讨论。

把光数位化的第一步是要将光子转化成电子。 这篇文章没有探究传感器如何这样做，而是介绍转化效率的测量。 数字化过程期间所生成电子与光子的比率称为量子效率 (QE)。 图 1 传感器范例，一个的 QE 为 50%，因为当6个光子“落”到传感器上时生成 3 个电子。

在电子数位化之前，它们都储存在像素内，称为井。 可储存在井内的电子数称为饱和量或井深。 如果该井收到比饱和量多的电子，就不会再存储其它电子。

一旦像素完成光收集，井的变化被测定，而这个测量值称为信号。 图 1 中的信号测得值被表示为箭头测量表。 与这个测量相关的错误称为颞暗噪声或读出噪声。

最后，将信号值（以电子数表达）转化成 16 位模拟数字单元 (ADU)像数值，从而确定灰度等级。 模拟信号值与数字灰度等级之间的比率被称为增益，并被测定为每 ADU 的电子数。 按照 EMVA1288 标准的定义，增益参数不应该与“模拟数字”转化过程混淆。

评估相机性能时，通常涉及信噪比和动态范围。 相机性能的这两个测量考虑相机光测到的噪声与信号的比率。 不同之处就是动态范围仅考虑颞暗噪声，而信噪比也包括离散噪声的方均根 (RMS)总和。

绝对灵敏度阈值就是得到相当于传感器所观测噪声之信号所需的光子数。 这是个重要指标，因为它代表观测任何根本有意义信号所需最低光量的理论值。 后面的文章将会讲到这个测量的详情。

为了辅助根据 EMVA1288 标准比较传感器和相机，FLIR 对超过 70 个相机型号创建了行业第一的全面成像性能研究。 

2.比较相机的低光性能

就本白皮书而言，我们将考虑诸如牌照识别（LPR）或光学字符识别（OCR）之类的应用，这些应用通常使用单色成像，并且由于曝光时间短，相机可以收集的光量可能会受到限制。 确定解决成像问题所需的分辨率、帧率和视野相当直截了当，然而确定相机是否将会有足够成像性能可能更困难一些。

解决这个挑战的常规方法就是试错法。 让我们举一个例子，其中视觉系统设计师确定，VGA 相机有以 30 FPS 运行的 ¼’’ CCD 在本应用中已经足够。 初始检测可以证实，当相机静止时，相机在10毫秒曝光时间下有足够灵敏度。 见图 2 用能够轻易被视觉算法所混淆的字符 B、8、D 和 0 作一个简单的范例。 左上方的图像用 ¼’’ CCD 相机拍摄，产生的图像适合图像处理。

图 2：得自 1/4'' 和 1/2'' CCD 相机在不同曝光时间下的结果

然而，当对象开始移动时，曝光时间需要缩短，而且相机不能够提供有用的信息，因为字母 “B” 和 “D” 不能与数字 “8” 和 “0” 相区分。 图 2 中间和左下方的图像显示图像质量劣化。 尤其是在2.5毫秒曝光时间下，¼’’ CCD 产生不适合图像处理的图像。

出于这个范例的目的，假定就是大视野深度并非必需，因而镜头的最低 F 数是可以接受的。 换句话说，不可能通过打开镜头快门来收集更多光。

因此，设计师需要考虑不同的相机。 问题是不同的相机是否有可能改善系统的性能。 使用更大的传感器已经被接受为解决低光性能问题的好方法，因此 ½’’ 传感器就可能是个好选择。 不是继续使用试错法，而是考虑相机的 EMVA 1288 成像性能的实用性。

通过考虑 EMVA 1288 数据，可以注意到的是，¼’’ 传感器具有更好的量子效率和更低的噪声，但是 ½’’ CCD 有更大的像素和更大的饱和量。 这篇文章显示如何确定 ½’’ 相机是否会表现得更好。

图 3 通过绘制信号值与光密度（光子/ µm2）来比较相机。 该信号作为光密度的函数，其确定方式是使用以下公式：

这篇文章所采用的一个重要的假设就是：镜头有相同的视野、相同的 F 数和相同的相机设置。

图 3：1/4'' 和 1/2'' CCD 相机产生的信号作为光水平的函数 

该图表明，若光密度相同，则½’’ 传感器将会产生更高的信号。 可以观察到的是，饱和发生于相似的光密度水平（700 个光子/µm2），然而 ½’’ 传感器有显著更高的饱和量。

在本白皮书所考虑的应用中，相机的对比需要在低光水平下进行。 因此考虑噪声水平变得尤其重要。

图 4 显示低光照水平下的信号和噪声。 该图中出现的噪声是颞暗噪声和离散噪声的 RMS 总和，其中计算使用了以下公式：

图 4：1/4'' 和 1/2'' CCD 相机在低光水平下的信号和噪声

该图表显示，½’’ 传感器在比 ¼’’ 传感器略低的水平下达到绝对灵敏度阈值（信号等于噪声的光水平）。 确定哪种相机在低光应用中将会表现得更好所需的更重要指标就是信噪比 (SNR)。

图 5：1/4'' 和 1/2'' CCD 相机在低光水平下的信噪比

图 5 显示两个相机的 SNR，作为照明水平的函数。理论表明，当 ½’’ 传感器的信噪比较高，½’’ 相机在低光水平下应该表现得比 ¼’’ 相机好。

根据图 2 中的图像，可以看到的是，在2.5 毫秒曝光时间下，½’’ 传感器保留图形在所有曝光时间下的形状，而 ¼’’ 传感器则难以区分这些字符。 因此这种 ½’’ 传感器表现得更好，而且实际结果都符合该理论。

3.比较传统 CCD 与现代 CMOS 传感器

现在，我们将在低光成像条件下及在具有宽泛照明条件的场景中比较传统 CCD 传感器与现代 CMOS 传感器的性能。

在前一部分中，我们证明了带 Sony ICX414 (a ½’’ VGA CCD) 的相机在低光条件下比带 Sony ICX618 (¼’’ VGA CCD) 的相机性能更佳。 现在，我们将比较 ½’’ VGA CCD 与新型 Sony Pregius IMX249，1/1.2’’ 2.3Mpix 全局快门 CMOS 传感器。

初看起来，这可能似乎看起来像比较“苹果跟橘子”，然而具有这两种传感器的相机的成本是可比的，大约为 €400，在 CMOS 相机中，感兴趣的一个 VGA 领域实际上更接近 ¼’’ 相机的光学尺寸，而且帧率在 VGA 分辨率下也是相似的。

相机的 EMVA 1288 数据表明，IMX249 CMOS 传感器有显著较好的量子效率、较低的噪声和较高的饱和量。 另一方面，ICX414 CCD 传感器有更大的像素，在前一篇文章所介绍的范例中，这是个至关重要的参数。

图 6：ICX414 CCD 和 IMX249 CMOS 传感器在低光条件下的信噪比

图 7：ICX414 CCD 和 IMX249 CMOS 传感器在不同曝光时间下的效果

更有意思的比较是在更高光密度的情况下，因为两个传感器之间的饱和量差异。 图 8 表示在整个全光密度范围内信号作为光密度的函数。 根据该图表可以观察到的是，ICX414 CCD 传感器将会在大约 700 光子/µm2处达到饱和量，而 IMX249 CMOS 传感器将会在 1200 光子/µm2以上饱和。

图 8：ICX414 CCD 和 IMX249 CMOS 传感器产生的信号与光强的关系

第一个结论是，ICX414 CCD 传感器产生的图像将会比 IMX249 CMOS 传感器产生的图像更亮。 如果从图形上看不明显，试想将会在大约 700 光子/µm2下产生的图像。 若为 ICX414 CCD 传感器，该图像应该处于最高灰度水平，很有可能处于饱和状态，而 IMX249 CMOS 传感器将会产生刚刚超过 50% 最大亮度的图像。 这个观察很显著，因为评价相机灵敏度的一个简单的方法就是观察图像的亮度。 换句话说，假设就是性能更好的相机将会产生更明亮的图像。 然而，事实并非这样，而且在这个范例中，实际上是相反的，产生较暗图像的相机实际上有更好的性能。

图 9：ICX414 CCD 和 IMX249 CMOS 传感器在不同光照条件下取得的效果

第二个观察发现是，IMX249 CMOS 传感器产生的图像，可以用在范围更大的光照条件下进行的图像处理。 图 9 显示两台相机对同一场景的成像。 应该注意的是，图像的较暗部分已经就显示目的进行了强化，然而支持数据并未修改。 根据该图像，可以观察到的是，ICX414 CCD 在场景的明亮区域是饱和的，而同时在目标的黑暗区域有太多噪声而使字母无法被辨识。 相反，IMX249 CMOS 传感器在明亮和黑暗场景中产生清晰可见的字母。

最后，我们可以得出结论，全新的全局快门 CMOS 技术在机器视觉应用中已成为 CCD 的可靠替代方案。 这些传感器不仅价格便宜，在相同分辨率下具有更高的帧速率，并且没有诸如拖影和模糊的伪影，而且性能还优于 CCD。

4.比较各代 Sony Pregius 传感器

如前面的部分中所讨论，传感器的尺寸对传感器的性能影响很大，这是因为更大的像素可以收集的最多的光子，相同的光照条件下也可以收集更多的光子。 另一方面，像素尺寸较大的传感器相比于像素尺寸较小的，传感器尺寸要更大才能适应既定的分辨率，会增加传感器的成本。 下图概述了各代 Sony Pregius 传感器的的像素大小差异。

图 10：各代 Sony Pregius 传感器的像素大小差异

尽管像素尺寸呈下降趋势（除了第三代传感器），但传感器的成像性能（不涉及传感器容量）逐代提高。 成像性能提升的主要原因是第二代之后的传感器具有较低的颞暗噪声。 下图概述了各代 Pregius 传感器的颞暗噪声升级过程。

图 11：Pregius S 保持了较低颞暗噪声水平

如果要全面了解传感器成像性能，请参阅下表各代 Pregius 代表性传感器的规格。

通过上表可以发现，尽管 Pregius S 的像素尺寸最小，但成像性能可媲美第二代和第三代传感器，这要归功于该传感器的背照式设计，使光子入射角更大，有助于像素捕获更多光线。

图 12: BSI 传感器倒置了传统前照式传感器设计，使光子更容易进入像素的光敏光电二极管

这项新的传感器设计使 Pregius S 传感器系列在利用好最小像素的同时达到前几代传感器成像性能，从而能够以相对较低价格提供分辨率更高的传感器。

参考

如何评估相机灵敏度 | Teledyne FLIR