基于压缩感知的单像素相机

基于压缩感知的单像素相机

成像是一个传统的信号处理领域，俗话说“百闻不如一见”，图像在整个数字信号处理领域中占有举足轻重的地位。压缩感知理论刚被提出来时并没有被广泛认可，但是随着单像素相机成像框架的提出，压缩感知理论立刻吸引了广大研究学者的关注。它的成像框图如图1所示。

图1 单像素相机原理图

该方案中最核心的器件是数字微镜器( digital micro-mirror device，DMD)，它是一种光调制器，在基于压缩感知的成像体系中，DMD扮演着非常重要的角色。DMD是美国得州仪器公司( Texas Instruments，T)生产的一种通过成千上万个微镜反射入射光而实现光调制的器件，这些微镜阵列都可以通过配置单元设定翻转角度。每个微镜通过一个铰链实现两种固定的翻转状态,角度为水平方向的士12翻转(早期的型号是士10°翻转)。其翻转角度状态由片上内存SRAM中相应的比特值来决定其翻转状态，例如，比特值为“1”则表示沿水平方向的+12°翻转，反之，如果比特值为“0”则表示沿水平方向的-12°翻转。如图7.2所示，由于微镜的翻转角度不同，可以把入射光沿两个不同的角度反射，当微镜翻转角度为+12°时，实现对入射光的对称角度反射；而当微镜翻转角度为-12°时，则微镜把入射光反射到芯片内置的光吸收材料上，即没有反射光输出，这就实现了通过成千上万个微镜是否反射入射光而实现对入射光的调制。

图2 微镜不同的翻转角度实现对入射光的调制

从TI公司发布的资料来看，其最高空间分辨率可以达到1024×768(XGA)，即该类型DMD包含1024×768个微镜,难以想象的是这些微镜集成在32.2mm×22.3mm大小的芯片中。DMD具有较高的分辨率、对比度、灰度等级和响应速度等优点，不仅已成功应用于高清电视(HDTV)和数字影院，近几年其应用领域得到较大扩展，在光纤通信网络的路由器、衰减器、滤波器、数字相机、高频天线阵列、新一代外层空间望远镜、物体三维轮廓测量仪、全息照相、光学神经网络、显微系统中的数字可变光阑、激光光束整形、压缩成像、数字光刻以及成像光谱等领域都得到了成功的应用。
下面介绍单像素相机的设计原理。首先，通过光路系统将成像目标投影到DMD上，DMD由数字电压信号控制微镜片的机械运动以实现对入射光线的调制，相当于由0和1构成的随机测量矩阵，其中“1”表示对应的小微镜把入射光反射出去，“0”表示入射光被吸收。在每次DMD的随机测量中，一部分微镜将把与其对应位置上的入射光发射出去，这些反射光由透镜聚焦到单个像素传感器上(实际应用中可以是光敏二极管)，光敏二极管两端的电压随着反射光强度的变化而变化，其两端的电压通过一个模数转换器(A/ D converter)进行量化从而得到个测量值y，其中每次DMD的随机测量模式相应地对应测量矩阵中的行，即φ，此时如果把输入图像看成一个矢量x,则该次测量的结果表示为y=φx。每次的测量结果实际上是DMD的掩模与成像场景的模二相乘而后汇总进行量化的结果，将此投影操作重复M次,即通过M次随机配置DMD上每个微镜的翻转角度，获得了M个测量结果,即y=φx。在M远小于原始图像的像素时，即可通过基于总变量差( total variation)的l1范数最小化的方法重构原始图像，它的实物演示如图3所示。

图3 单像素相机实物演示图

除了成像灵活性，单像素相机的另一个优点是光敏二极管的量子效率(用来定义光敏器件受光表面接收到的光子转换为电子空穴对的百分比例)可以达到90%，远高于常规CCD或CMOS阵列的50%。此外，每次单像素相机随机的测量都能聚集远远多于平均像素上所能接收到的光子，因而可以极大地降低图像失真、暗噪声(在光谱测量中是指影响光谱原始数据的杂光)和读出噪声。
在数字相机广为流行的当代，人们不断追求更高像素的相机，以达到图像的高分辨率和高保真。单像素相机的设计为此开辟了一条全新的思路,这个设计很大程度上减少了对光探测器设计复杂性和高昂代价的要求,无需高密度、高分辨率的CCD或CMOS模块,单个像素也可以实现成像功能。需要指出的是,这里的单像素传感器,可以是光敏极管;在低光照度时,可以是雪崩二极管;也可以是集成多个针对不同波长范围的光敏二极管,从而构建多光谱相机。
该相机直接获取的是M次随机线性测量值而不是原始输入图像的像素值,这也是和传统多路复分相机的区别之一，多路复分相机的机理是采用传统的光栅扫描，其中的测量函数是一系列delta函数构成的。这个基于压缩感知的单像素相机的一个重要优点是，它只需要较少的测量值就可以重构出原始图像(例如，压缩感知模式需要M次测量，而光栅扫描模式需要N次，M<

图4 基于单像素相机的重构图像

图5 人类拍摄的第一幅照片

其实,这套单像素相机应用在可见光谱段成像，较常规的几百万或上千万像素的CCD或CMOS相机的优势并不十分明显，因为常规数码相机已经获得了普遍认可，CCD或CMOS的集成度已经很高而且很廉价，这主要得益于可见光的光谱范围和材料硅的光电响应区间刚好一致。而在近红外或短波红外波段成像领域，单像素相机的价值就突显出来了，这是因为红外波段的探测器非常昂贵，单像素相机将极大地降低产品成本。如果将该系统应用在近红外或短波红外波段的探测器上，通过DMD的多次随机翻转实现对入射近红外或短波红外波段的调制获得多个测量值，再经优化算法就可以重构出原始入射的近红外或短波红外图像。在这种方式下，不仅可以得到信噪比较高的近红外或短波红外面阵图像，而且图像的均匀性可以得到更好的提升，所以构成的面阵图像质量也能得到提高，同时这也大大降低了探测器的成本。目前美国的In View公司3已经获得了单像素相机的发明专利授权，并且发布了针对显微镜应用的短波红外相机 In View210M和针对安防、监控的短波红外相机In View230。图6中显示的是In View公司生产的短波红外相机和常规的短波红外相机成像结果比较，其中图(a)是常规短波红外相机获取的原图，图(b)是In View公司短波红外相机的成像结果。由图可见，单凭肉眼根本分辨不出差别。In View公司出品的这类基于压缩感知的短波红外相机是该领域中第个走向商业化应用的产品，具有里程碑式的象征意义。

图6 常规短波红外相机Inview公司短波红外相机的成像比较