超分辨率在影像技术中

　　由于其本身具有广泛的应用潜力，超分辨率重建技术在最近20年中得到了迅速的发展，学者们发展了多种超分辨率重建方法，一些重建方法和技术也在不同的领域得到了具体的应用。此前已有一些国内外文献对超分辨率技术的重建方法及发展现状进行了综述¨ ，但大部分都集中在对基本重建模型与方法的论述上，对超分辨率重建技术的实际应用也罕有介绍。
　　　　一、互补信息来源方式

　　1 基于运动的超分辨率重建，提出利用多幅具有亚像素位移的欠采样影像进行超分辨率重建的方法 。
　　本原理就是把各影像上由于亚像素位移而存在的互补信息融合到同一幅影像中，达到提高分辨率的目的。
　　此类利用影像之间的亚像素位移来获取互补信息并实现超分辨率的方法称为基于运动的超分辨率重建。
　　由于在人们非常容易接触到具有相互运动的影像序列如视频序列、多时相影像等)，再加上基于运动的超分辨率重建方法比较直观而且又比较容易实现，所以在当前的国内外文献中，绝大多数的超分辨率重建方法属于此类方法，它是当前影像超分辨率重建领域中的研究主流。
　　2 基于尺度的超分辨率重建基于尺度的超分辨率重建是对不同观测尺度的宽场景、低分辨率影像与小场景、高分辨率影像进行处理，从而得到一幅同时具备宽场景和高分辨率特征影像的技术。从某种角度看，多尺度影像超分辨率重建也可以归为上面所述的基于运动的方法。但是，此类方法主要利用的是各影像重叠区域之间的对应关系，使非重叠区域“受益”并得到分辨率的提高，为了与常规方法加以区别，笔者把此类方法称为基于尺度的超分辨率重建。针对近景变焦多尺度影像序列，分别提出了基于马尔科夫模型和总变差模型的重建方法，由于此类方法可以求解同时具有宽场景和高分辨率的影像，因此具有一定的实际应用价值。但是，目前的研究方法都假设目标与镜头的距离变化不大，对目标纵深变化较大的场景进行重建的方法还有待于进一步研究。另外，由于遥感观测系统的空间分辨率往往与空间观测尺度成反比，如果对以上方法进行借鉴和发展，进行多尺度遥感影像的超分辨率重建将是一个极具研究价值的新方向。
　　3 基于模糊的超分辨率重建在此类影像超分辨率重建中，各观测影像之间没有任何位移，但不同影像受不同的模糊函数(点扩散函数)的影响，即影像之间的互补信息来源于模糊函数。处理中，首先对模糊函数进行估计，然后利用观测模型和估计出的模糊函数实现影像的超分辨率重建。虽然此类方法在某些特定情况下具有可行性，但是其限制性非常大。主要困难来源于对模糊函数的估计，在很多情况下对其进行精确估计是一个非常困难的任务，估计精度难以满足实现超分辨率重建的要求。
　　4 基于学习的超分辨率重建序列影像超分辨率重建在两种条件下经常难以满足要求：一是影像序列中存在的互补信息并不充分；二是随着分辨率提高倍数的增加序列中的互补信息会显得相对不足。这时，仅靠增加影像的数量不能产生新的高频细节，而影像本身的先验知识就显得非常重要。
　　获得先验知识的方法除了统计方法(概率方法)外，另一个方法就是可以通过学习训练得到。文献提出了一种基于学习过程来获得先验知识的方法，首先通过算法去学习识别指定类别，如对象、场景等等，得到的识别先验知识再用于超分辨率重建，获得了比传统方法更好的结果。利用基于学习的超分辨率重建方法的一个必要条件就是要有一个与重建影像相关的影像训练集，训练集里需要有大量的学习样本，这在很多实际情况下经常难以满足要求。然而，对于一些特定类别的影像来说训练集的获得并不困难，如汽车的车牌号、人脸数据库等。

　　二、超分辨率重建模型

　　如上节所述，按照互补信息来源方式，影像超分辨率重建可以分为不同的类型，但在重建模型方面它们都是通用的，即同一种模型可以对不同的重建问题进行描述。
　　1 基本重建模型超分辨率重建问题的提出，以傅里叶变换为基础框架，给出了一个利用多幅欠采样影像重建一幅高分辨率影像的频率域方法 。
　　等人 对其方法进行了改进，进一步顾及了噪声和光学模糊的影响。此外，在频率域中也产生一些基于离散余弦变换¨ 和小波变换¨ 的方法。然而，超分辨率重建技术在空域却有了更为迅速的发展，产生了多种经典的超分辨率重建模型框架，如非均匀内插法、迭代反投影法 、凸集投影法 、最大似然法 、最大后验估计法 ，混合最大后验估计／凸集投影法 和自适应滤波法等。当前的绝大多数超为基础在不同的理论和应用方面的进一步发展。
　　2 联合求解模型值得注意的是，在多数情况下影像超分辨率所需的一些参数如运动位移矢量、模糊函数等为未知，传统的思路是先求解这些参数再进行超分辨率重建。然而，参数的求解与高分辨率影像密切相关，在高分辨率影像未知的情况下求解参数的精度往往得不到保证。
　　于是，一些学者提出对参数矢量和超分辨率影像进行联合求解的方法。基于最大似然理论建立了一个运动参数和超分辨率影像同时求解的模型，并用EM算法进行求解。在MAP框架下提出了一种同时求解的方法，并利用循环坐标下降法进行求解。针对压缩视频，也采用了运动矢量和高分辨率影像联合求解的方法 。
　　对高分辨率影像、运动参数、噪声方差和影像统计参数提出了一种联合求解方法 。提出一种对运动矢量、运动分割标记和超分辨率影像进行联合求解的模型 ，并给出了一个基于循环坐标下降的求解算法。
　　联合求解的方法一般都基于最大后验估计或最大似然框架建立重建模型，然后对影像和各未知参数进行循环迭代求解(在求解每一组未知量时，都假定其它未知量为已知)。该类方法充分利用了高分辨率影像与各参数之间相互制约、相互促进的关系，通过逐步迭代，使求解向着对它们都有利的方向进行，最终同时得到各参数和超分辨率影像的最优解。一般情况下，该类方法比单独求解方法的重建精度更高，但缺点是重建速度慢。

　　三、快速超分辨率重建

　　1 预条件方法影像超分辨率重建的运算量非常大，所以采用适当的加速策略是必要的。对于系数矩阵为对称正定的情况，一些学者采用预条件共轭梯度法加快模型的求解速度。利用基于不完全乔莱斯基分解的预条件共轭梯度方法加快超分辨率重建的速度。
　　利用基于离散余弦变换的预条件方法来加速高分辨率影像的重建，该方法在有4幅输入影像并且位移正好相差半个像素时具有非常快的收敛速度。进一步修改了他们的算法，使之能对只有两幅影像时能够快速收敛。应用了两个已有的预条件方法到超分辨率影像重建中，验证了在整体平移运动情况下算法的快速收敛性。提出的一种带状近似逆条件方法应用到视频和变焦影像序列的超分辨率重建中。
　　在超分辨率重建模型中，运动模型、模糊模型、重采样方式，以及正则化函数的改变都会在一定程度上改变系统矩阵的稀疏结构，在预条件构建时应充分考虑这些因素。另外值得注意的是，预条件方法虽然可以有效改进求解的收敛性，但有时不一定能够加快重建的处理速度，原因是在构建预条件矩阵时往往会耗费较长的时间，因此预条件的选择不应只追求收敛速度，而应以节省绝对处理时间为标准。此外，使用预条件方法的前提是影像及各类算子必须以矩阵的形式进行存储，而超分辨率重建的系数矩阵维数非常大，所以对于大数据量的影像进行重建时需要采用分块处理的方式，而且最好利用支持矩阵稀疏存储结构的语言如Matlab)或工具进行算法的实现。
　　2 影像算子方法利用预条件共轭梯度加速算法需要构建多个大型矩阵，当处理影像尺寸较大时构建矩阵的时间甚至比处理时间还要长。一个摆脱大型矩阵构建和计算的途径是采用影像算子的方法进行矩阵的相乘运算 。
　　在运算过程中并不需要求出矩阵的具体形式，对求解过程中所需的矩阵与向量的相乘运算采用如下方法实现：把向量看作一幅影像，把矩阵看作一个影像算子，则矩阵与向量相乘的结果可以看作是算子对影像处理的结果。很明显，利用影像算子的运算方式很难实现一些包含复杂数学运算(如预条件处理、求秩运算、特征值求解等)的重建算法。
　　3 其他方法针对整体平移运动和空间不变模糊的影像序列，等人采用把信息融合和去模糊分开处理的方法来提高运算效率，首先利用比较简单的非迭代算法把不同影像的互补信息融合到同一幅影像中，再进行去模糊处理。利用感兴趣(ROI)区域提取、背景分割等技术来减小超分辨率重建的运算量，从而提高整体的运算效率。把影像分成若干小的图像块，利用平行计算的方式对小影块进行单独处理，再利用一个递归多级算法得到最后的重建结果。利用MAP运算中得到的模型梯度把影像的分成高频和低频两部分，而只对高频部分实施超分辨率重建，以此来提高运算效率。这些方法各有优势，可以与上述的预条件方法和影像算子方法相结合。

　　四、针对特殊影像或应用的超分辨率重建

　　1 压缩影像的超分辨率重建和Altun-basak在DCT域内发展了一个针对MPEG压缩视频的超分辨率重建方法，充分利用了压缩数据中的量化信息 。之后，他们又进一步在空域发展了一个基于MAP框架的方法 。系统的阐述了在空间域进行压缩视频超分辨率重建的原理与方法，并在MAP框架内实现运动估计和超分辨率影像的同时求解。阐述了如何去除压缩视频超分辨率重建中不可观测像素的影响。理论上，量化信息的使用必然会有效提高超分辨率重建的精度，但从目前的研究成果看，重建精度提高的程度并不是很大，而且考虑量化信息还会增加非常大的运算量。因此，在超分辨率重建中是否需要考虑量化信息以及如何使用等问题还需要进一步的研究和验证。
　　．2 遥感影像的超分辨率重建最早的超分辨率重建思想就来源于处理多时相遥感(Landsat)数据的动机，但只是用模拟影像进行了实验，并没用涉及遥感影像。但如前所述，在SPOT5卫星系统和ADS40航空摄影传感器中，通过硬件与软件相结合的方式实现了影像的超分辨率重建，并已经得到了重要应用。最近，提出一种利用多时相遥感数据进行超分辨率重建的方法 ，并用MODIS多时相遥感影像进行了实验，该方法可以在不改变遥感观测硬件系统的条件下实现提高遥感影像分辨率的目的。提出一种基于可变像素的影像线性超分辨率重建方法，并应用到了多时相ETM遥感影像中。对多时相遥感影像进行超分辨率重建的主要困难是在成像间隔中地面点会不可避免的发生变化，所以一般要求传感器具有较高的时间分辨率(即较短的重访周期)，并在重建时对变化点进行检测和剔除。
　　．3 医学影像的超分辨率重建影像超分辨率重建技术已经在医学领域得到了较大发展和应用。发展了一个针对x射线影像的超分辨率重建算法，利用迭代松弛算法求解高分辨率影像 。利用超分辨率重建技术提高x射线cT影像的分辨率，并已申请了专利。为了在增加核磁共振影像的分辨率，提出了一个超分辨率影像获取方案，并在超分辨率重建中，利用边缘保护正则化增加重建算法的稳健性 。针对荧光素血管造影序列进行了超分辨率重建的研究。最近，等人发展了针对正电子断层扫描(PET，posi—医学影像的超分辨率重建方法 。
　　．4 生物信息提取与识别影像超分辨率重建技术在生物信息提取与识别方面也得到了具体的应用。利用基于区域的超分辨率重建技术从多幅人脸影像中进行特征提取，实验证明超分辨率重建技术能够提高人脸特征点的定位精度。则利用超分辨率重建技术进行人脸的识别 ，提出了一个利用超分辨率技术进行人脸识别的方法 。分别提出了一个针对人眼虹膜影像的超允辨率重建算法，并利用重建结果进行后续的识别。
　　展望经过20多年的发展，超分辨率重建技术在理论方法和应用方面都有了较大的突破，但目前仍然存在一些有待解决的问题，笔者认为以下几点将是今后领域内的研究重点：
　　① 发展对亚像素位移、点扩散函数、离群点位置等参数进行精确估计的方法，为实现高精度的超分辨率重建提供前提和保证。
　　② 针对不同空问尺度、纹理结构和噪声水平的影像序列，发展普适的超分辨率重建模型。
　　③ 针对大数据量影像处理或近实时处理的需求，发展更为快速的超分辨率影像求解算法。
　　④ 寻求对正则化参数、迭代步长、影像权值等参数进行自适应求解的方法，以减少人工的干预，增强方法的实用性。
　　⑤ 基于超分辨率重建的原理，进行新型传感器的设计，特别是发展新型的探元排列方式，以最大限度地实现“硬件”与“软件”的结合。
　　⑥ 利用超分辨率重建技术在高清晰数字电视、视频监控、遥感目标识别、医学诊断等领域进行更为深入的应用。