什么是图像质量？

实现高质量的成像是所有相机制造商的目标。但是在科学成像领域，会有一些不同的指标来衡量图像的成像质量。

一、光的采集

1、量子效率（QE）

QE衡量了成像设备将入射的光子转换为电子的能力。一个重要的影响因素是前照式还是背照式。在前照式相机中，由于一些硬件部件的遮挡，有些制造商会使用一些微透镜将光子steer到芯片上感光区域，但还是有25%的没有办法到达感光区域。一个更加有效的设计是背照式，传感器被翻过来，光子能够直接到达芯片上的感光区域，不再需要微透镜。这要求硅很薄，大概是1um的厚度。

高端的背照式相机能够到达95%的QE, 但也依赖于入射光的波长。在近红光或者是紫光的区域，有比较低的QE.

 

 对于大多数应用来说，高的量子效率很重要，我们能够收集的到光子数越多，量化的准确率就越高，图像的质量就越好。

总结：不同波长的入射光的量子效率不同，高的量子效率可以提高成像的质量和量化的准确性。

2、像素的大小

像素的大小，也称为“‘Pixel Pitch”，指的是相机像素的宽和高（width, height）。像素的面积越大，每个像素能够收集到的光子数就越多，像素的宽和高*2,  像素对光子的收集能力*4。增加像素的大小是提高相机灵敏度的一个很好的方法。

增加像素的大小，降低图像的分辨率，除非分辨率是受到了光学系统的限制。

更大的像素也能够容纳更多的电荷，意味着有更大的满井容量，更好的动态范围。

总结：大像素收集到更多的电子，但可能降低图像的分辨率。

3、满井容量

满井容量指的是单个像素能够收集到的最大电子数，“linear full well capacity”更为准确，因为当某个像素接近它的满井容量时，它收集新的电子的能力其实是在下降。对于科学成像来说，这种非线性其实是不可接受的。

满井容量的可用性取决于相机的模式，因为它取决于相机的位深（灰度阶）*Gain(从电子到灰度阶的转换因子 e/grey)。位深和增益根据相机设置的不同，都是可以改变的。

在需要高动态范围成像的场景中，即一幅图像中同时存在很强和很弱的信号，因此大的满井容量很重要。在一些光线较强的场景中，大的满井容量对提高信噪比很有用。对于弱光成像的应用，比如荧光成像，满井容量不是一个很重要的因素。

总结：满井容量影响成像质量主要是在高动态范围成像，或者是在高光成像的场景中。

二、噪声的影响

信噪比是成像质量的重要的指标，它指的是，在每一个像素中，信号的大小与信号的不确定性的比值，它是一个相对量。更具体来说，它是每个像素测量到的信号与测量到的噪声（不同的帧之间）之间的比值。对于那些需要精确地对光进行测量的应用中，信噪比尤其重要。

1、signal to noise (SNR)

SNR的计算较为简单，信号除以三个主要的噪声源（散粒噪声，暗噪声，读出噪声）的和。

 高信噪比表示图像没有由噪声引起的失真和伪影。信噪比越高，信号就越突出，图像的质量就越好，更可能得到理想的成像效果。在很多量化分析中，会设置一个SNR阈值，低于该阈值，就认为成像质量较差。

关于最小的信噪比没有一个硬性的规定，因为这主要取决于样本，分析方法，以及应用的需要。

 总结：信噪比（SNR）是图像质量的一个关键定量指标，它结合了相机的信号采集能力以及噪声水平。然而，在信噪比中没有考虑patterns和artefacts。

2、Photon Shot Noise 散粒噪声

 散粒噪声是由于光源的光子入射的随机性产生的，光子的入射服从泊松分布（Poisson distribution）。ShotNoise 的大小为sqrt(Signal)， 随着信号的增大而增大。在更高的信号水平的时候，shotNoise是主要的噪声源。

3、读出噪声 Read Noise

它衡量了相机检测信号的不确定性，它的大小取决于读出口的工作频率以及电子元件的设计。CCD 相机有着更高的读出噪声（6-10e），工业上用的CMOS的读出噪声（4-50e,CMOS科学相机的读出噪声，大概是1-1.6e。在弱光成像中，高的读出噪声会带来很大的挑战，损坏了成像的质量。

 总结：在微光成像中，读取噪声是一个重要因素，但微小的差异只会在极低的光照水平下影响成像。量子效率起着更大的作用。

3、背景

读出噪声对于图像质量的影响也取决于样本中是否出现背景光，比如out-of-focus fluorescence, autofluorescence, room light, and light leaks。因为背景光中也同样会有ShotNoise,也会造成读出噪声大小的差异。

4、EMCCD 额外的噪声因子

EMCCD在读出之前进行了电子倍增，以此来克服读出噪声的影响。然而，这个倍增也是随机的，对于每一个像素信号倍增的大小不同，所以引入了一个额外的噪声因子，它将噪声放大为原来的sqrt(2)。最显著的影响是它放大了shotNoise。

每个像素的signal在2-3个光子背照式CMOS和EMCCD的差异较大。由于EMCCD的唯一优势在于低读取噪声，任何背景光的存在都会抵消这一优势，因为背景光中含有大量的被额外的放大因子放大的散粒噪声。 

然而，对于每像素最多1-2个光子的信号，例如在单光子计数中，EMCCD的低读取噪声仍然提供了更好的信噪比，因此EMCCD在科学成像中仍然占有一席之地。

总结：在生物成像中，虽然额外的放大因子导致EMCCD的成像质量通常来说比不上背照式CMOS，但EMCCD的应用还是可以看到。

5、暗电流，制冷

暗噪声是由于曝光时，电子（不是被检测到的光电子）移动到像素井时产生的。D = e/p/s, 热电子随机出现，也是服从泊松分布。 真实的暗电流的分布如下：

暗电流是制冷的主要原因，为了减少hot pixels（那些有着非常高暗电流的像素）。暗电流的大小取决于曝光时间，对于很短的曝光时间（10ms 以内），即使很高暗电流也可以不用制冷就可以活得很好的SNR。但是1s的曝光，不制冷的话，图像的质量就会收到暗电流的影响。

制冷的温度不是关键，因为相同的传感器温度，但不同的相机，不同的制冷技术也会产生不同的暗电流。 此外，对于低于2s的曝光，读出噪声的影响更为关键。

总结：对于100ms以上的曝光，相机需要制冷。然而，它与传感器的温度是没有关系的，只有暗电流是关键。对于1s以上的曝光，低的暗电流很重要。

三、背景、信号的均匀性

背景的结构或者模式（structure or patterns），不管是存在动态还是静态噪声，对于检测弱信号来说都是很有挑战性的,移除它们对于图像的影响也是不太可能的，因为它们对不同的图像影响程度也不同。

1、背景的质量

静态模式 static patterns

CMOS相机是并行读出来增加读出速度。然而，并行读出需要很小心地校正和平衡不同的ADC的读出口，不同厂商的相机的读出口的质量不通过，即使使用的是相同的sensor。

 动态patterns

动态的patterns可以反映出一些在读出过程中出现的问题。这是CMOS相机中很常见的问题，这是工艺上的挑战。dynamic patterns 比statis patterns 更加难以移除，对弱光成像也造成了更大的影响。

总结：一些相机的背景上会出现动态或者静态的patterns，她们会给弱光成像带来比较大的挑战。

Binning (像素融合) & 背景质量

在一些弱光成像中，binning 以牺牲图像分辨率为代价，来达到提高图像信噪比的效果。然而，以上提到的 patterns，会因为binning而使得图像变得更加糟糕。

另外，CMOS的binning 增加了相机的读出噪声，2*2 的binning 会导致 2*2的噪声。因此，在binning之前，确保读出噪声和patterns都比较小。

Dark Signal Non-Uniformity (DSNU)

它指的是offset图像上的各种variations。可以通过计算1000张dark图像的平均值，然后再计算平均图像的标准差。这个指标能够捕捉相机背景上的patterns和artefacts对于弱信号的影响。事实上它不是一个有用的对于相机背景图像的衡量，即使存在严重影响图像质量的pattern，也不能从这个指标上反应出来。

Photo-response Non-Uniformity (PRNU)

用均匀光照的图片的像素值的标准差来计算，通常是以百分比的形式给出。虽然想用它来表示高光照水平时图像的均匀性，作为反应是否出现pattern的一个指标。但是它是依赖于光照的强度的，但是用多强的光照是没有固定的行业标准的。

通常来说，PRNU是在半满井容量时计算的，但是对于弱光成像来说，半满井容量也是很难达到的。

 虽然右边的图像出现了明显的patterns，但是两者的PRNU值是相同的，所以它并不能真正地反应出是否出现patterns，并不能反应出图像的均匀性。

Linearity 线性

对于相机来说，对于光强度的线性相应是很有必要的，也就是说，数字信号的大小应该与检测信号的大小成比例。然而，在实际中，这是一个很大的工程上挑战。大部分的消费级sensor都不是线性的。在科学成像中，线性的定义如下：

连续多次拍照，增加曝光时间，直到满井容量。最大的正、负偏移指定是偏移理想的直线响应。

对于科学相机来说，99%以上的线性就足够了。对于那些质量较差的相机，线性通常是不给出来的。

16-bit动态范围的CMOS相机，通常是结合两个12-bit的ADCs，如果在工程上没有很精细，会转折点的地方出现灰度的跳跃。

 Artefacts

Hot Pixels 热点

科学成像另一个需要校正的问题是，在某些像素中出现较高的暗电流。制冷可以减少这样的像素的出现，但是有些sensor即使在制冷的情况下还是会有这样的像素的出现，特别是在长时间曝光的情况下。

四、图像的采集

1、Despeckle filters  消斑过滤器

CMOS sensor 的设计会引入一种微小的额外噪声，随机电报噪声，（Random Telegraph Noise），这是由于电荷在硅晶格的某些损坏的地方自由地移动而产生的效果。这就导致图像上某些的像素出现很大或者很小的像素值（这些值比真实测量到的信号值要大得多或者是小得多），这些像素值严重地影响了图像的灰度值范围，也会损坏图像的可视化效果。

为了处理这些虚假的像素值所带来的问题，工业上常用的做法是使用一个条件均值滤波器。如果某个像素值比它周围3*3邻域的像素值大得多或者小的多（如果差异比某个阈值要大），那些该像素就用3*3领域的均值替代。

对于大多数成像应用来说，由于虚假的像素值的出现而错误识别那些真正的高值像素的可能性可以忽略不计。因为基于光学透镜或基于显微镜的系统通常受到衍射限制，这意味着来自点光源的光子将分布在多个像素上，而不是集中在单个像素上。

然而，也有一些应用，比如单分子成像，它的成像对象通常是单点，这种可能性就增加了。此外，在使用广角透镜的应用中，光线收集不再受衍射限制，在小距离内对比度可能会发生较大变化。对于这些应用，建议关闭相机消斑过滤器。

总结：消斑滤波器对于保持CMOS相机的图像质量非常重要，但是对于专门用于成像点源的应用，如单分子成像，建议将其关闭。