超分辨率知识总结

图像超分辨率也称超分辨率图像重建（SRIR，Super resolution image reconstruction），是指用图像处理的方法，通过软件算法（强调不变动成像硬件设备）的方式将已有的低分辨率（LR）图像转换成高分辨率（HR）图像的技术。

现在超分辨率一般代表一类放大原本较小图像或视频的空间尺度并增加其分辨率能力的方法。

超分辨率技术：从低分辨率图像出发获得高分辨率图像，或者更确切地说，要从单幅或多幅退化的、混叠的低分辨率图像去恢复高分辨率图像。

超分辨率技术所依据的图像成像模型一般称图像观测模型，它描述的是期望的理想图像与所获得或观测到的图像之间的关系。

从期望的高分辨率理想图像到实际的低分辨率观测图像有一个退化过程，退化因素可以包括亚采样、大气模糊（如雾霾等）、成像模糊（如相机运动导致的模糊，成像传感器光学极限导致的模糊等）、几何运动、投影以及附加噪声（如成像传感器自身的噪声）等。

图像超分辨率技术在理论上与图像恢复技术是相通的。超分辨率技术也成为第二代的图像恢复技术。两者的区别主要是：图像恢复技术在处理后图像中的像素数并不增加。

图像插值和图像超分辨率的区别：一般的插值并不能恢复出图像亚采样过程中丢失的高频信息，但是图像超分辨率可以。

图像锐化可以提升高频信息，但仅是增强了已有的高频成分，但超分辨率技术则可估计出原始图像中没有表现出来的高分辨率细节。

图像拼接虽可以将多幅图像结合成更大的图像，包含了更多的像素，但并没有提供更细的细节，所以并不能算是超分辨率技术。

技术分类

1.所处领域

（1）基于频域的方法
主要是傅里叶变换及其逆变换
由于图像细节是通过高频信息反映出来的，所以消除低分辨率图像里的频谱混叠就可以获得更多被掩盖掉的高频信息，从而增加图像细节，提高图像的分辨率。
（2）基于空域的方法
空域的方法常利用图像局部的信息进行，增加像素的数量和紧密程度，从而增加图像细节，提高图像的分辨率。

频域方法
优点：原理清晰，理论推导方便，计算复杂度较低；
缺点：只适用于空间不变噪声的情况，只能处理图像中仅有整体运动而没有局部运动的情况，难于在处理过程中利用先验信息。

空域方法
优点：种类多，可将各种退化因素综合考虑，灵活性强；
缺点：设计复杂，计算复杂度较高。

2.根据所用低分辨率图像的数量

（1）基于单幅图像的超分辨率（SISR）
输出的是单幅图像
包含：图像放大（图像尺寸或像素的增加）、超分辨率复原（利用点扩散函数和目标的先验知识，在图像系统的衍射极限之外复原图像信息）。
（2）基于多幅图像的超分辨率（MISR）
依靠多幅图像中的冗余信息进行重建。
输出的可以是单幅图像也可以是一个图像系列（常为视频）

3.根据技术本身的特点

（1）基于重建的超分辨率
关键步骤：配准、重建。
将多幅低分辨率图像中不重合的信息结合起来，就可以构建出高分辨率的图像，这种技术一般称为超分辨率重建。
典型方法：非均匀插值法、迭代反投影法、最大后验概率法（目前实际应用和科学研究中运用最多的一种方法）、凸集投影法。
（2）基于学习的超分辨率
借助预先的训练学习（从数据库）来寻找或建立低分辨率图像与其对应的高分辨率图像之间的映射关系，提取高频信息，从而在给定低分辨率图像的情况下，通过优化方法获得相应的高分辨率图像。