序列图像超分辨率复原综述

  摘要：序列图像的超分辨率复原是指采用信号处理的方法通过对序列低分辨率退化图像的处理来获得一幅或者多幅SR复原图像，该技术可以弥补硬件实现的局限并且成本低，在视频、遥感等领域有着重要的应用前景。简要介绍了超分辨率复原的应用，然后概述了相关的主要算法，最后指出了该领域的发展方向。

关键字：超分辨率，图像复原，图像处理

Abstract: Super-Resolution image restoration technique is to estimate one or more Super-Resolution restoration images from a low resolution and degraed image quence via signal processing ,which can feeds the limintion for hadware realization and costless. Super-Resolution restoration has many applications, such as video, remote sensing imaging ,and so on .The application of the technique is introduced, then main related algorithms are overviewed,and the direction for the future is given at last.

Key Words: super resolution；image reconstruction；image processing

1. 引言

实际成像系统（如CCD、CMOS图像传感器、红外成像仪等）采集的数字图像，一方面受传感器排列密度等硬件实现条件和成本的限制，采集的图像分辨率较低，另一方面在成像过程受诸多因素影响（如光学系统相差、大气扰动、运动、离焦、系统噪音等^[3]）还会使图像发生模糊、变形等质量退化现象。传统的图像复原技术可从一定程度改善退化图像的质量，但并不改变复原图像的分辨率，另外，高分辨率图像在诸多领域有着重要应用，超分辨率复原技术（Super-Resolution，SR）即是在此背景下提出来的。所谓超分辨率复原，即是通过信号处理的方法，在提高图像的分辨率的同时改善采集图像质量。

超分辨率复原技术最初只对单幅图像进行处理，其核心思想是试图通过对成像系统截止频率之外的信号高频成分估计来提高图像的分辨率，该种方法由于可利用的信息只有单幅图像，图像复原效果有着固有的局限。序列图像的超分辨率复原技术旨在采用信号处理方法通过对序列低分辨率（Low-Resolution，LR）退化图像的处理来获得一幅或者多幅SR复原图像。由于序列SR复原可利用的帧间额外信息，比单幅SR复原复原效果更好，目前已成为该领域内的研究热点。

  本文先对序列图像SR复原技术的应用作简要介绍，然后介绍了目前的主要实现算法，最后指出了该领域的发展方向。

2. SR复原应用概况

 超分辨率图像复原技术可改善由于图像离散化、退化引起的分辨率下降，弥补原有图像分辨的不足，突破图像获取手段分辨率的极限，发掘现有图像数据（如多角度、多时相、多平台遥感图像，序列图像等）的潜力，因此，超分辨率图像复原技术的研究具有十分重要的意义，其在以下领域有着重要的应用价值和广阔的应用前景^[7]。

2.1.视频处理领域

目前视频图像正在向高清电视信号（HDTV）方向发展，因此，迫切需要采用SR技将普通NTSC格式的视频图像转换为高清电视信号。另一方面，普通拍摄的视频数据在播放时由于人眼的视觉暂留效应，使得人眼对快速播放的视频图像噪声不敏感，但当打印具体帧时，效果就会变得很差。采用序列SR复原技术，可以获得单帧或多帧的SR图像，因此，SR复原技术可用于视频帧的打印，这在视频捕捉方面有着重要作用^[7]。另外，目前的视频多为压缩视频，压缩视频的SR复原技术对提高压缩视频的质量其着重要作用^[52][53]。另外，SR复原技术还可以与马赛克处理等采用视频处理方法配合进行视频处理^[54]。

2.2模式识别领域

超分辨率图像复原可提高可以提高采集图像的质量，能够提供更多更准确的图像细节信息，从而可以提高模式识别的精度，对一些模式识别算法性能的提高起着重要作用。比如，在脸识别领域，学者已经基于SR图像复原技术对此开展了大量的研究工作，取得了较好的效果，见文献[55]-[57].此外，SR复原技术在视频监控^[58]系统中可对感兴趣区域进行缩放，进一步提高监控目标识别的准确性，此在交通、司法等方面有着重要作用。

2.3.卫星、遥感成像领域

目前，遥感图像数据量存在着一个“既多又少”的矛盾——获取的数据量多，有用的信息却很少。地球资源卫星每天大约绕地球旋转 14 圈，18 天左右就能对地面同一区域覆盖一次。这样，获得同一地区多次重复的图像数据量是巨大的，但由于成像设备的硬件技术原因，往往得不到想要的更高分辨率图像；同时，由于高分辨率相机造价昂贵，体积和重量都很大。因此，若能利用低分辨率相机成像，再对这些重复图像数据进行超分辨率复原，生成高分辨率图像，便能够降低风险和成本，同时提高现有图像资料的应用价值和军事目标的识别能力。为识别植被的分布和大体类型、地域的地质结构、地表水的区域范围等不同的环境现象，卫星获取的图像是包括红外线、可见光、紫外线在内的多频谱信息，因此对图像的处理和分析便成为数据处理分析的重要基础。图像处理是将资源和气象等信息图像化。而图像分析主要是利用多频谱信息的统计模式分类，进行土地利用区的划分、气象、环境污染及资源的调查、城市规划等任务。地球资源卫星可以获取多频谱图像，通过对这些图像进行一系列的处理，可以获取不同的有用信息。但是由于现有成像技术的限制，图像的分辨率限制了图像的判别和定位精度。为获取高质量高分辨率图像，单纯依靠提高物理设备的采样率和精度是不实际的。即便存在可能性，其资金的代价也是昂贵的。相对来说，通过多帧低分辨率图像的处理获得高分辨率图像，不仅是可行的，而且是经济的。超分辨率图像复原技术采用现有的遥感图像就能够达到所需要的对地物的识别精度。因此过去依靠光学处理图像的领域，正在逐步变成以计算机处理为主流^[7]。

2.4.天文学领域

天文学家为了更好地认识和理解宇宙，正努力在他们的天文学图像中寻找更多更好的细节。通过增加望远镜镜面或无线电天线的大小，可以获得较好的细节，或者通过后处理的方法对收集的图像进行细节复原。在有限的预算下，使用后处理技术比建造昂贵的新设备更为实际^[7]。

2.5.医学成像领域

医学上不管是基础医学还是临床医学，都需要大量的医学图像处理。人们所熟知的 X 射线图像、显微镜图像、放射线同位素图像、超声波图像、磁共振成像（MRI）等各种各样的图像，都成为辅助诊断中模式识别的对象。所以从该领域研究的开始，图像的质量和精度以及图像的重建问题，就已经成为医学图像研究的重要目标之一。尤其是在染色体分析、血球的自动分类、胸部 X 射线照片的鉴别、眼底照片的处理、利用荧光染料的血管造影分析等方面都有着广泛的应用。CT 技术就是利用多方向投影实现断层图像重建的成功实例。医学检测中往往需要通过 CT 技术识别并确定出病体(如肿瘤)的精确位置及详细情况：如阴影的边缘、异物占位的大小及位置等。由于硬件设备及现有成像技术的限制，还不能够获取满足高要求的高清晰图像。由于 CT 技术的特殊机理，超分辨率图像复原技术可以在该领域获得重要应用。采用超分辨率技术对 CT 图像的质量改善和变换以及图像精度的提高等仍然是今天医学图像处理中正在讨论的课题^[7]。另外，磁共振成像（MRI）也是临床应用重要诊断方法，提高其采集图像的分辨率具有重要意义，文献[59]、[60]对磁共振成像（MRI）的SR复原技术进行了较深入的讨论。

3. 序列SR复原算法

基于序列图像的SR复原算法比基于单帧图像的SR复原算法可利用信息更多，复原效果明显由于后者，目前已成为该领域的主流研究方向。目前序列图像的超分辨率复原主要分为频域法和空域法两大类。频域方法的观测模型是基于傅立叶变换的移位特性.频域方法的优点是:理论简单,运算复杂度低,容易实现并行处理,具有直观的去变形超分辨率机制;缺点是:只能局限于全局平移运动和线性空间不变降质模型,而且包含空域先验知识的能力有限. 空域方法所采用的观测模型涉及全局和局部运动、空间可变模糊点扩散函数、非理想亚采样等,而且具有很强的包含空域先验约束的能力^[14].早期的工作主要集中在频域进行，随着更一般成像模型的研究，后期的研究几乎都集中在空域进行^[6]。文献[5]将视频序列的SR复原划分为基于重建、基于学习、基于插值运动补偿三大类。本文简单介绍序列图像的SR复原算法频域法，然后给出空域法的各种主要算法及其他算法，类似综述文献见[1]~[6]。

3.1. 频域法

Tsay 和Huang对序列图像的超分辨率复原算法作了开创性的工作，他们首次提出了一种基于频域的算法[8]，其思想是利用原SR图像与具有全局平移运动的多幅低LR图像DFT之间的混叠关系，通过多幅LR的混叠频谱解出原SR的频谱，再通过IDFT重构原SR图像。该模型理论简单、适合并行处理，但观测模型局限于全局位移和LSI模型，难以在频域将空间约束信息考虑进来^[2][4]，因此应用范围受很大局限。 Kim^[9]~[12]等人对Tsay等的模型进行了一定的改进和扩展，但都只是从使用范围和速度等方面作了改进，并无突破性的进展。另外，在其他变换域，一些学者在DCT域^[13]、小波域^[14]也作了相关研究。

3.2. 空域法

空域法较频域法具有更好的先验约束能力，并且其观测模型可涉及全局和局部运动、光学模糊、帧内运动模糊、空间变化点扩展函数、非理想采样、压缩伪像以及其它一些内容^[7]，因此，适用范围更广。Elad和Feuer提出了一个普适的空域SR-LR观测模型^[15]，该模型描述了图像获取中平移旋转变形、光学与运动模糊、点扩展函数模糊、欠采样等环节，对空域算法的设计提供了很好的指导。目前SR复原技术主要集中在空域中进行，常用的空域法有非均匀插值法、迭代反投影方法（IBP）、凸集投影法（POCS）、最大后验估计法（MAP）、最大似然估计法（ML）、滤波器法等，其中，MAP和POCS法研究较多，发展空间很大。

3.2.1 非均匀插值法

非均于插值具有直观、计算效率高的优点，其算法流程分为运动估计（注册）、非线性插值融合为SR图像、图像复原去模糊三个环节。这里，运动估计的精确性对算法性能其关键性的作用。Ur和Gross根据广义多通道采样定理^{[16] [17]}，在假设相对运动精确已知的前提下，对发生整体空间移位的LR图像进行了非线性插值，之后再去模糊处理^[18]。。Komatsu 等人^[19]。使用块匹配技术来测量相对位移，执行Landweber^[20] 算法，使用多架相机拍摄的多幅图像来获得一幅SR图像。Hardie ^[21]等人提出梯度配准、加权最近领域插值、维纳滤波相结合的方法，Franke^[22]和Sandwell^[23]分别提出了局部瘦样条插值和双调和样条插值的SR插值算法。

3.2.2迭代反投影方法（IBP）

迭代反投影方法具有直观、简单的优点，但难以利用先验知识。Irani 和Releg提出了一种种迭代反投影方法^[24]，其思想是将由估计的SR 图像模拟得到的LR 图像与观测的实际LR 图像相减得到误差，这个过程不断迭代，直到误差的能量达到最小。Mann 和 Picard^[25]在此基础上在图像获取过程中使用一个透视运动模型。Irani 和 Peleg[^25]改进了 IBP 方法，考虑了更为一般的运动模型。Tom 等人通过改进运动补偿方法，进一步提高了迭代反向投影算法的性能，并在色视频序列的SR复原中应用了IBP算法^[26][27]。

3.2.3凸集投影法（POCS）

POCS方法较简单，对任何成像模型均可方便地加入先验信息,得到的高分辨率图像边缘和细节较好，但其解不唯一，收敛速度慢且稳定性不好，解依赖于初始估计，计算量大。POCS的采用解空间与一组约束凸集取交集的思想，凸集可描述图像的一些先验性质，如正定、能量有界、数据可靠、光滑等，从而使解空间得到简化。POCS 是指一种迭代过程，在给定超分辨率图像空间中任意一点的前提下，可以定位一个满足所有凸约束集条件的点，即收敛解^[7]。POCS由Stark 和Oskoui首次提出^[28]，Tekalp^[29] 、Patti^{[30] [31]}等人对POCS法进行了改进，分别考虑了物理尺寸引起的模糊、传感器噪声和运动模糊与噪声问题。其他改进文献见[32]-[34]。

3.2.4最大后验估计法（MAP）、最大似然估计法（ML）

最大后验估计法（MAP）、最大似然估计法（ML）都是在Bayes框架下的基于统计理论的复原方法。最大后验概率估计方法将超分辨率图像视为一个复杂最优化问题的MAP 解,使用先验平滑假设来减少不连续测量的影响。最大后验概率(MAP) 的含义就是在已知低分辨率视频序列的前提下,使出现高分辨率图像的后验概率达到最大^[5]。Schultz和Stevenson利用Huber- Markov Gibbs先验模型，将问题变成一个具有惟一解的有约束的最优问题，在视频序列中提出了MAP SR复原法^[35]。Hardie 等人提出一种可同时进行运动估算和图像复原的MAP算法，其引入了一种与超分辨率图像和配准参数有关的MAP代价函数^[36]。Giannis^[37]等人提出一种基于MAP的SR复原算法，其提出了一种局部边界自适应保持策略，然后采用一种有效的两步重建方法，该方法首先对低分辨率退化图像进行注册，然后采用同时进行复原、插值、注册的DFT域跌代算法。Shen^[38]等人在提出了一种基于MAP的同时进行运动估计、运动分割、SR复原的算法。

  最大似然估计法（ML）其可视为MAP法在等概率先验模型下的特例，因此无先验项，由于SR复原是一个病态性问题，MAP比ML算法性能更好。Tom等采用EM算法来解决ML估计问题，其能同时估计亚象素位移和噪声的变化^{[39] [4]}。

3.2.5滤波器法

滤波法主要用于视频处理等对实时性要求较高的场合，其更加注重算法的执行速度，对SR复原效果要求相对MAP、POCS要低。Elad^{[40] [41]}等人提出了一种基于自适应滤波理论的最小二乘估算器，Alam[^42] 等人在SR复原中引入了Wiener 滤波法，Elad ^{[43] [44]}等人提出了递归最陡下降算法(R-SD)和递归最小均方算法(R-LMS)的两种迭代算法，这两种方法可以认为是 Kalman 滤波器的近似^[7]。Narayanan^[46] 等人提出了PWS滤波器（partition-based weighted sum filters）的SR复原算法。

3.4. 学习算法

文献[46]提出了一种基于识别先验知识的SR复原算法，即学习算法，通过算法去学习识别指定类别,如对象、场景、图像,将得到的识别先验知识用于超分辨率复原。Capel^[47] 在Bayesian 框架中使用了图像学习模型,比传统的ML 估计获得了高得多的超分辨率增强效果。Baker^[48]等人提出了一种将低分辨率特征识别融合进来的Hallucination 的算法，Freeman^[49]等人提出了一种从训练集中插值生成高频细节的新方法。基于学习的算法是传统SR复原算法的一种新颖的方法，可以解决传统方法的许多困难，但改种算法起步晚，还有很多不完善的地方，值得进一步研究。

4. 研究展望

 超分辨复原技术是数字图像处理领域的一个前沿热点研究领域，在许多领域有着重要的应用价值和潜力，本文对超分辨率复原技术的应用和主要实现算法作了简要的介绍，最后，这里给出该领域的进一步研究方向。综述文献[1]-[6]对此都作出了论述，归纳如下：

（1）  更加有精确的运动估计算法。在序列图像的SR复原中，运动估计（即注册）的精确性对整个算法的性能有着决定性的影响，虽然目前已经有很多成熟的运动估计算法，但效果都不是很好。因此，开发出性能更加优异的运动估计算法是未来SR复原技术的重要而基础性的研究方向。

（2） 发展和提出新的退化成像模型，是模型使用场合更具普适性，对点扩散函数的和噪声的估计更精确。

（3） 盲SR复原技术。在大量SR复原算法中，都假定退化模型已知，但着很多实际场合，这个前提并不满足。因此，有必要开展在退化模型未知的情形下的盲SR复原算法的研究。

（4） 压缩域SR复原技术。因目前的视频大多为压缩格式，因此，有必要开展直接在压缩域（特别是最新的MPEG-4，H.264等新视频编码标准）进行SR复原的研究，以提高算法效率。

（5） MAP/COPS的融合研究。这两种算法在SR复原技术中研究最多，各有优缺点，因此，这两种主流算法的融合、互补研究因可以催生更加有效的新算法。另外，其他已经存在的算法的进一步骤完善与互相融合，也值得进一步深入研究。

  以上基本指出了都是SR复原技术未来的主要发展方向，这里，再给出一些笔者的思路。

（1） 深入开展SR复原技术的特定应用研究。SR技术具有广阔的应用前景，但不同的应用背景有着算法实现的特殊性，因此，在发展普适性算法的同时，有必要针对特定的应用环境发展特定的算法，可更好的实现算法的运行效果。另外，进一步拓展SR复原技术的应用领域也是一个重要的研究方向。

（2）深入开展SR复原技术与其他领域的交叉研究。文献[38]将运动估计、运动分割、SR复原同时进行，对SR复员与其他研究领域的融合研究作了初步的探索，这条思路可扩展到其他相关领域之中去。比如，可将序列SR复原技术与动态视觉注意模型^[50]、视频对象分割、跟踪^[51]研究相结合，仅只对视频序列中感兴趣区域（ROI）或者运动对象进行SR复原。

（3） 深入开展实时处理SR复原的算法及相关硬件实现的研究。

参考文献

[1] Borman S,Stevenson R. Spatial resolution enhancement of low-resolution image sequences: a comprehensive review with directions for future research[R]. Lab. Image and Signal Analysis,University of Notre Dame, Tech. Rep., 1998.

[2] Park S C, Park M K, Kang M G. Super-resolution image reconstruction: a technical review [J]. IEEE signal processing magazine, 2003, (5):21-36

[3]苏秉华，金伟其，牛利红等，超分辨率图像复原及进展，光学技术，2001，27（1）：6-9.

[4] 张晓玲，沈兰荪，超分辨率图像复原技术的研究进展，测控技术，2005，24（5）：1-5

[5]王勇，郑辉，胡德文，视频的超分辨率增强技术综述，计算机应用研究，2005，1：4-7，33

[6]周芳，超分辨率图像复原及其进展，自动化与仪表，2006，1：10-14

[7]  郭晓新, 超分辨率重建问题的研究, 吉林大学工学博士论文，2005。

[8] Tsai R Y and Huang T S. Multipleframe image restoration and registration[A]. Advances in computer vision and image processing. Greenwich, CT: JAI Press Inc., 1984: 317-339.

[9] Kim S P, Bose N K, and Valenzuela H M. Recursive reconstruction of high resolution image from noisy undersampled multiframes[J]. IEEE Trans. Acoust., Speech,Signal Processing, 1990,38(6):1 013-1 027.

[10] Kim S P and Su W Y. Recursive high-resolution reconstruction of blurred multiframe images[J]. IEEE Trans. Image Processing,1993,2(10):534-539.

[11]  Bose N K, Kim H C, and Valenzuela H M. Recursive implementation of total least squares algorithm for image reconstruction from noisy, undersampled multiframes[A]. in Proc. IEEE Conf. Acoustics, Speech and Signal Processing, Minneapolis, MN, 1993,5: 269-272.

[12] Rhee S H and Kang M G. Discrete cosine transform based regularized high-resolution image reconstruction algorithm[J]. Opt. Eng., 1999,38(8): 1 348-1 356.

[13] S.H. Rhee and M.G. Kang, Discrete cosine transform based regularized high-resolution image reconstruction algorithm, Opt. Eng., vol. 38, no. 8,pp. 1348-1356, Aug. 1999.

[14]张新明，沈兰荪，在小波变换域内实现图像的超分辨率复原，计算机学报，2003，26（9）：1183-118

[15] M. Elad and A. Feuer, Restoration of a single superresolution image from several blurred, noisy, and undersampled measured images, IEEE Trans. Image Processing, vol. 6 , no. 12, pp. 1646-1658, Dec. 1997.

 [16]  A. Papoulis, Generalized sampling theorem,IEEE Trans. Circuits Syst. vol. 24, pp. 652-654, Nov. 1977.

[17] J.L. Brown, Multi-channel sampling of low pass signals, IEEE Trans.Circuits Syst., vol. CAS-28, pp. 101-106, Feb. 1981.

[18] H. Ur and D. Gross, Improved resolution from sub-pixel shifted pictures,CVGIP: Graphical Models and Image Processing, vol. 54, pp. 181-186, Mar.1992

[19] T. Komatsu, K. Aizawa, T. Igarashi, and T. Saito, Signal-processing based method for acquiring very high resolution image with multiple cameras and its theoretical analysis， Proc. Inst. Elec. Eng., vol. 140, no. 1, pt. I, pp. 19-25, Feb. 1993.

[20] L. Landweber, An iteration formula for Fredholm integral equations of the first kind,Amer. J. Math. vol. 73, pp. 615-624, 1951.

[21]M.S. Alam, J.G. Bognar, R.C. Hardie, and B.J. Yasuda, Infrared image registration and high-resolution reconstruction using multiple translationally shifted aliased video frames,IEEE Trans. Instrum. Meas.,vol. 49, pp. 915-923, Oct. 2000.

[22] Richard Franke. Smooth interpolation of scattered data by local thin plate splines. Comput. Math. Appl. 1982, 8(4):273-281

[23] David T. Sandwell. Biharnionic spline interpolation of Geo-3 and Seasat altimeter data.Geophysical Research Letters. February 1987, 14(2):139-142

[24] M. Irani, S. Peleg. Improving resolution by image registration. CVGIP: Graphical Models and Image Proc., May 1991, 53:231-239

[25] S. Mann, R. W. Picard. Virtual bellows: Constructing high quality stills from video. In Proc.

IEEE Int. Conf. Image Processing, Austin, TX, Nov. 1994. 363-367.

[26]B. C. Tom, A. K. Katsaggelos. Resolution enhancement of video sequences using motion compensation. In: Proc IEEE Int Conf Image Processing. Lausanne, Switzerland. 1996,1:713-716

[27] B. C. Tom, A. K. Katsaggelos. Resolution enhancement of color video. In: Proc Conf Eur Signal Processing. 1996. 1:145-148

[28] Stark H and Oskoui P. High resolution image recovery from image-plane arrays, using convex projections[J]. J. Opt. Soc. Am. A, 1989,6:1 715–1 726.

[29] A. M. Tekalp, M. K. Ozkan, M. I. Sezan. High-resolution image reconstruction fromlower-resolution image sequences and space varying image restoration. in Proc. IEEE Int.Conf. Acoustics, Speech and Signal Processing (ICASSP), San Francisco, CA., Mar. 1992,3:169-172.

[30] J. Patti, M. Sezan, A. M. Tekalp. High-resolution image reconstruction from a low-resolution

image sequence in the presence of time-varying motion blur. In: Proc IEEE Int Conf Image Processing. Austin, TX. 1994. 343-347

[31] J. Patti, M, I. Sezan, A. M. Tekalp. High-resolution standards conversion of low resolution video. In: Proc IEEE Int Conf ASSP. Detroit, MI. 1995. 2197-2200

[32] Tom B C and Katsaggelos A K.An iterative algorithm for improving the resolution of video sequences[A].in Proc. 1996 SPIE Conf. Visual Communications and Image Processing, Orlando, FL,1996:1 430–1 438.

[33] Hong M C, Kang M G and Katsaggelos A K. A regularized multichannel estoration approach for globally optimal high resolution video sequence[A]. in SPIE VCIP, vol. 3024, San Jose, CA, 1997:1 306–1 317.

[34] P. E. Eren, M. I. Sezan, A. M. Tekalp. Robust, object-based high-resolution image reconstruction from low-resolution video. IEEE Transactions on Image Processing, Oct. 1997,6 (10):1446-1451

[35] Schulz R R and Stevenson R L.Extraction of high-resolution frames from video sequences[J]. IEEE Trans. Image Processing, 1996,5(6):996–1 011.

[36] R. C. Hardie, K. J. Barnard, E. E. Armstrong. Joint MAP registration and high-resolution image estimation using a sequence of undersampled images. IEEE Transactions on Image Processing., Dec. 1997, 6:1621-1633

[37] Giannis K. Chantas, Nikolaos P. Galatsanos, and Nathan A. Woods，Super-Resolution Based on Fast Registration and Maximum a Posteriori Reconstruction，IEEE Trans. Image Processing, 2007,16(7):1821-1830 

[38] Huanfeng Shen, Liangpei Zhang, Bo Huang, and Pingxiang Li，A MAP Approach for Joint Motion Estimation,Segmentation, and Super Resolution，IEEE Trans. Image Processing, 2007,16(2):479-490 

[39] B. C. Tom, A. K. Katsaggelos. Reconstruction of a high-resolution image by simultaneous registration, restoration, and interpolation of low-resolution images. Proc. 1995 IEEE Int. Conf. Image Processing, Washington, DC, Oct. 1995. 2:539-542.

[40]M. Elad, A. Feuer. Superresolution restoration of an image sequence: adaptive filtering approach. IEEE Transactions on Image Processing, Mar. 1999,8:387-395

[41] M. Elad, A. Feuer. Super-resolution restoration of continuous image sequence using the LMS algorithm. In: Proc 18th IEEE Conf Israel, Tel-Aviv. 1995, 2.2.5:1-5

[42] M. S. Alam, J. G. Bognar, R. C. Hardie, B. J. Yasuda. Infrared image registration and high-resolution reconstruction using multiple translationally shifted aliased video frames. IEEE Transactions on Instrum. Meas., Oct. 2000, 49:915-923

[43] ] M. Elad, A. Feuer. Super-resolution reconstruction of image sequences. IEEE Transactions on Pattern Anal. Machine Intelli., Sept. 1999, 21, (9):817-834

[44] M. Elad, A. Feuer. Super-resolution reconstruction of continuous image sequences. In: Proc Int Conf Image Processing-1C1P1999. Kobe, Japan. 1999. 459-463

[45] Balaji Narayanan, Russell C. Hardie, Senior

Kenneth E. Barner, and Min ShaoA Computationally Efficient Super-Resolution Algorithm for Video Processing Using Partition Filters，IEEE Transaction on circuits and system for video technology,2007,17(5):621-

634

[46] Baker S ,Kanade T. Limits on Super2Resolution and How to Break Them[J ] . IEEE Transactions Pattern Analysis and Machine Intelligence ,2002, 24(9) :1167 -1183 

[47] Capel D , Andrew Zisserman. Super2Resolution from Multiple Views Using Learnt Image Models [ EB/ OL ] . http :/ / www. robots. ox. ac. uk/ vgg/publications/ html/ . . / papers/ capel2001. ps. gz ,2002.

[48] Baker S , Kanade T. Super2Resolution : Reconstruction or Recognition [C] . IEEE2EURASIP Workshop on Nonlinear Signal and Image Processing ,Baltimore , Maryland , 2001, 215-219.

[49]  Freeman W, et al . Example-based Super-Resolution[J ] . IEEE Computer Graphics and Applications , 2002 , 22 (2) :56-65.

[50] María T. López, Miguel A. Fernández, Antonio Fernández-Caballero, José Mira and Ana E. Delgado,Dynamic visual attention model in image sequences. Image and Vision Computing. 22（5），May 1 ,2007,pp. 597-613.

[51] Yi Liu, Yuan F. Zheng，Video Object Segmentation and Tracking Using Ψ-Learning Classification，IEEE Transaction on circuits and system for video technology 2005,15(7):885-899

[52]Y. Altunbasak, A. Patti, R. Mersereau, Super-resolution still and video reconstruction from MPEG-coded video, IEEE Trans. Circuits Systems Video Technology 12 (2002) 217–226.

[53]B. Gunturk, Y. Altunbasak, R. Mersereau, Multiframe resolution enhancement methods for compressed video, IEEE Signal Proc. Let. 9 (2002) 170–174.

[54] P. Kramer, et al., Super-resolution mosaicing from MPEG compressed video, Signal Process. Image

Commun. (2007), doi:10.1016/j.image.2007.06.004

[55] Gunturk, et al, Eigenface-domain super-resolution for face recognition,IEEE Trans. Image Processing, 2003,12(5):597-606

[56] K. Jia,S. Gong,Multi-Modal Tensor Face for Simultaneous Super-Resolution and Recognition , Proceedings of the Tenth IEEE International Conference on Computer Vision (ICCV'05),2005

[57] Jiangang Yu and Bir Bhanu,Super-resolution Restoration of Facial Images in Video,The 18th International Conference on Pattern Recognition (ICPR'06),2006

[58] Gulcin Canel, A. Murat Tekalp and Wendi Heinzelman. Super resolution recovery for multi-camera surveillance imaging, Proceedings. 2003 International Conference on Multimedia and Expo(ICME '03), 2003

[59] H. Greenspan,etc., MRI inter-slice reconstruction using super-resolution, Magnetic Resonance Imaging ,20 (2002) :437–446

[60] Eyal Carmi,etc.Resolution enhancement in MRI,Magnetic Resonance Imaging 24 (2006): 133–154