高光谱成像和多光谱成像是两种相似的技术,在过去的二十年中,它们的重要性和实用性不断提高。这两个术语常被混淆,它们具有相同的含义,但表示两种不同的成像方法,且每种方法都有各自的应用空间。与传统的利用可见光光谱(400-700 nm)的机器视觉成像方法相比,这两种技术均具优势。然而,这些优势却伴随着在照明、滤光和光学设计方面系统复杂性的增加。
在典型的机器视觉应用中,传感器使用和捕获的是可见光。这部分光谱是人眼仅能检测到的,范围大约在400 nm(紫色)到700 nm(深红)之间(图1)。成像透镜组件和传感器的光谱灵敏度通常在550 nm左右。相机传感器的量子效率描述的是将光子转换为电信号的能力,然而其在紫外或近红外波段显著降低。简单地说,高光谱成像(HSI)是一种获取包含更广泛电磁光谱信息的图像的方法,可以覆盖紫外光,可见光,甚至近红外或短波红外。这种扩展的波长范围可以揭示出材料组成的特性,否则是不明显的。
图1:人眼可见的波长只是电磁波谱的一小部分,而在可见光谱之外的波长区域则用于高光谱和多光谱成像。
机器视觉传感器输出灰度值阵列,从而在可视区域内产生该对象的2D图像。它的功能通常是用于分类、测量或定位对象的特征识别。除非使用滤光片,否则视觉系统不知道用于照明的波长。对于具有拜耳(Bayer)图案(RGB)滤镜的传感器而言,情况并非如此,但是即使这样,每个像素仍被限制为只能接受窄带波长的光,而相机软件才是最终分配颜色的工具。在真正的高光谱图像中,每个像素对应于坐标、信号强度和波长信息。因此,HSI常被称为成像光谱1。
光谱仪收集波长信息以及不同波长的相对强度信息2,这些设备通常收集来自单个光源或样品上某个位置的光。光谱仪可用于检测散射和反射特定波长的物质,或基于荧光或磷光发射的物质组成。HSI系统通过将位置数据分配给所收集的光谱,将这项技术提升到一个新的水平。因此,高光谱系统不是输出2D图像,而是输出高光谱数据立方体或图像立方体3。
高光谱采集主要有四种模式,每种模式各有优缺点(图2)。摆扫式(whiskbroom)是一种点扫描过程,每次获取一个空间坐标的光谱信息。这种方法往往提供最高水平的光谱分辨率,但需要系统在x轴和y轴上扫描目标区域,大大增加了总采集时间1。推扫式(pushbroom)是一种线扫描数据捕获,其中需要一个空间移动轴作为一排像素扫描一个区域以捕获光谱和位置信息。推扫式系统具有体积小、重量轻、操作简单、信噪比高的特点1。当使用这种模式时,曝光时间是至关重要的。不正确的曝光时间会导致饱和度不一致或光谱波段曝光不足。第三种是平面扫描方法,可以一次对整个2D区域进行成像,但要在每个波长间隔进行一次成像,并且涉及大量图像捕获,以创建高光谱数据立方体的光谱深度。尽管这种捕获方法不需要转换传感器或整个系统,但至关重要的是,在采集过程中对象不能移动;否则会影响定位信息和光谱信息的准确性。高光谱图像采集的第四种也是最新开发的模式称为单次拍摄或快照。单次成像仪会在单一积分时间内收集整个高光谱数据立方体1。尽管单次成像似乎是HSI实施的首选,但目前它受到相对较低的空间分辨率的限制,需要进一步发展1。
图2:四种主要的高光谱采集模式,包括(A)点扫描或摆扫式,(B)线扫描或推扫式,(C)平面扫描或区域扫描模式,(D)快照模式。
多光谱成像(MSI)系统与高光谱成像系统相似,但有关键的区别。与HIS的有效连续波长数据收集相比,MSI根据当前的应用集中在几个预选的波段上。虽然不是一个直接的例子或比较,但常见的RGB传感器有助于说明这一概念。RGB传感器上覆盖着由红、绿、蓝滤镜组成的拜耳图案。这些滤光片允许来自特定色带的波长被像素吸收,而其余的光则被衰减。带通滤光片的传输频带在400-700nm范围内,并且有轻微的光谱重叠。这样的一个例子如图3所示。然后通过渲染捕获的图像,以近似人眼所见。在大多数多光谱成像应用中,波段明显更窄且更多。这些波段通常在几十纳米量级,并且不仅仅包括可见光谱。根据不同的应用,紫外、近红外和热波长(中波红外)也可以有独立的通道4。
图3:RGB相机的量子效率曲线,红、绿、蓝光之间存在重叠。
一些人认为MSI是一种较差的HSI形式,具有较低的光谱分辨率。事实上,这两种技术各自都有自己的优势,这使它们成为完成不同任务的首选工具。HSI最适合对连续频谱上信号的细微差别敏感的应用。对较大波段进行采样的系统可能会漏掉这些小信号。然而,一些系统需要屏蔽相当一部分的电磁波谱,以选择性地捕获光(图4)。因为其他波长可能会产生显著的噪声,从而可能会破坏测量和观测。此外,如果数据立方体中包含的光谱信息较少,则图像的捕获、处理和分析可以更快地进行。
图4:多光谱成像和高光谱成像两种成像方式的图像叠加比较。多光谱成像是由几个不同光谱拍摄的图像,高光谱成像是由连续光谱拍摄的图像。
需要使用HSI和MSI的应用空间在不断增长。几十年来,利用无人机和卫星对地表进行航空成像的遥感技术一直依赖于HSI和MSI。光谱摄影可以穿透地球的大气层和不同的云层,从而可以清晰地看到下面的地面。这项技术可以用来监测人口的变化,观察地质变化,研究考古遗址。此外,HSI和MSI技术在环境研究中变得越来越重要,可以用于收集有关森林砍伐、生态系统退化、碳回收和日益不规律的天气模式的数据。研究人员利用收集到的信息创建了全球生态的预测模型,该模型推动了许多旨在对抗气候变化的负面影响和人类对自然影响的环保举措6。
在医学领域也是如此。现在,在高光谱成像的帮助下,医生可以对皮肤进行非侵入性扫描,以检测病变或恶性细胞。某些波长更适合穿透到皮肤的更深处,让人们更详细地了解患者的状况。如今,癌症和其他病变细胞很容易与健康组织区分开来,因为在正确的刺激下,它们会发出荧光并吸收光。医生不再需要根据他们所看到的和病人对症状的描述做出有根据的猜测。先进的系统可以记录并自动解释光谱数据,从而大大加快诊断,满足所需特定区域的快速治疗6。
生命科学和遥感只是这些技术取得巨大影响的几个方面。更具体的市场领域包括农业、食品质量和安全、药品和医疗保健3。这些工具对农民特别有用,可以帮助他们确定作物的生长情况。拖拉机和无人机可以装备光谱成像仪,以便在进行低空遥感的同时扫描田野,然后分析捕获图像的光谱特征。这些特征有助于确定植物的总体健康状况、土壤状况、已经被某些化学药品处理过的区域,或者是否存在某些有害的东西,比如感染。所有信息均具有独特的光谱标记,可以对其进行捕获、分析和使用,以确保最佳生产。
尽管受益于HSI和MSI的应用空间很大并且还在不断增加,但当前技术的局限性导致其应用推广缓慢。目前,与其他机器视觉组件相比,这些系统的价格明显更高。传感器需要更复杂,具有更广泛的光谱响应范围,并且必须精确校准。传感器芯片通常需要使用硅以外的衬底,因为硅仅对大约200-1000 nm波段敏感。砷化铟(InAs),砷化镓(GaAs),或砷化铟镓(InGaAs),可用于收集波长达2600 nm的光。如果需要从近红外到中波红外成像,则需要碲镉汞(MCT或HgCdTe)传感器、锑化铟(InSb)焦平面阵列、砷化铟镓(InGaAs)焦平面阵列、微测辐射热计或其他更长波长的传感器。这些系统中使用的传感器和像素也将比许多机器视觉传感器更大,以获得所需的灵敏度和空间分辨率1。
另一个挑战是将这些高端传感器与适当的光学组件配对。光谱数据的记录很大程度上依赖于带通滤光片、衍射光学元件,如棱镜或光栅,甚至液晶或声光可调谐滤光片,以分离不同波长的光7。此外,这些相机使用的镜头必须经过优化设计,并能适应大波长范围和温度波动。这些设计必须有更多的光学元件,从而增加了成本和系统重量。所需光学元件需要有不同的折射率和色散特性,以进行宽谱色差校正。不同的玻璃类型也会导致不同的热性能和机械性能。选择具有合适的内部透射光谱的玻璃后,还必须在每个镜片上涂上多层宽带防反射涂层,以确保最大的光通量。在这种情况下,多种独特的要求使得设计高光谱和多光谱成像的镜头过程繁琐,需要很高的技能。某些应用空间还要求透镜组件无热,以确保系统在地面或高层大气中都能发挥同样的作用。
未来的发展目标是使HSI和MSI系统更紧凑,价格合理并且易于使用。通过这些改进,鼓励新市场采纳该技术,并促进已经建立的市场。