超分辨率

研究背景以及意义

人类获取信息的主要途径是视觉，大部分基于视觉的应用效果都依赖于图像的质量，因此，高分辨率图像（High Resolution，HR）有助于在一个监控录像中更好地识别罪犯的脸，又或者在医疗影像中更好的看到病灶的位置。

图像超分辨率技术是一种图像处理程序，将退化的图像或者图像序列作为输入，生成更高质量的图像或者图像序列。超分辨率技术（Super Resolution，SR）的概念和方法最早是由Harris和Goodman于60年代提出。随后有许多人对其进行了研究，并相继提出了许多复原方法。在此，先介绍一下目前主要采用和研究生的超分辨率复原方法，包括单幅图像复原法和多幅图像复原法。

理论基础

对于一个线性空间不变成像系统，其成像过程可以用下式表示：

g(x)表示像;f(x)表示物;h(x)表示点扩散函数;*表示卷积运算

对上式取傅里叶变换，则有：

这里的FGH分别表示fgh的傅里叶变换

我们可以看出，由于在截止频率之外H(u)=0，因此想要复原出截止频率之外的信息，无论是理论还是实际上，都是不可能的。

同时，现阶段常用的超分辨率算法很多，比如能量连续降减法、Bayes分析法、凸集投影法（POCS），而基于序列或者多幅图像的超分辨率复原法又分为频域法和空域法等。

发展方向

目前来讲，为了获得高质量的高分辨率图像，满足不同情况的实际应用要求，超分辨率图像复原的研究发展方向主要集中在以下三个方面：

1. 完善现有算法，不断发展新的算法。其目的在于提高超分辨率图像复原的能力，减小计算量，加快运算的收敛速度，适用不同的图像要求；
2. 发展和寻求新的退化成像模型，使成像模型更加精确和全面，实现对点扩散函数和噪声的精确估计。
3. 在利用序列和多幅图像的复原中，发展和寻求新的运动模型，能够对运动进行精确估计。

前沿研究

图像的超分辨率复原技术主要分为两大类，一是基于重建的方法，二是基于学习的方法。近年来，深度学习的兴起让图像处理领域绽放了新的研究方向，而基于深度学习的SR，主要是基于单张低分辨率的重建方法，即SISR(Single image Super-Resolution)。

SISR是一个逆问题，对于一个低分辨率图像，可能存在许多不同的高分辨率图像与之对应，因此通常在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统的方法中，这个先验信息可以通过若干成对出现的低-高分辨率图像的实例中学到。而基于深度学习的SR通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。

目前基于深度学习的SR方法有很多，譬如SRCNN、DRCN、ESPCN、VESPCN和SRGAN等。