图像超分辨率技术简述

 图像超分辨率（Super Resolution, SR）就是将低分辨率（Low Resolution, LR）的图像通过一定的算法转提升到高分辨率(High Resolution, HR)。高分辨率图像具有更高的像素密度，更多的细节信息，更细腻的画质。要获得高分辨率图像，最直接的办法是采用高分辨率的相机，然而，在实际应用过程中，由于制作工艺和工程成本的考虑，很多场合都不会采用高分辨率、超分辨率的相机来进行图像信号的采集。因此，通过超分辨率技术来获取HR具有一定的应用需求。

刚才提到，HR是利用LR通过一定的算法来得到。按照可以使用的LR的数量，可以将超分辨率技术分为两类：

（1）基于单幅图像的超分辨率重建：

     主要利用某种先验模型或者匹配机制，从给定的外部资源中寻求待处理图像匹配的细节内容，并将其增加到原图当中，实现分辨率的提升。

（2）基于图像序列的超分辨率重建：

     利用多幅低分辨率图像之间相互的交叠信息，经过彼此补充，估计出图像的细节内容。

    

如果按照超分辨率重建的技术手段来划分，则可以分为以下三类：

（1）基于插值的方法：

     首先估计各帧图像之间的相对运动信息，获得ＨＲ图像在非均匀间距采样点上的象素值，接着通过非均匀插值得到ＨＲ栅格上的象素值，最后采用图像恢复技术来去除模糊和降低噪声。典型代表，Rajan和Chaudhuri通过分解、差值、融合3个步骤实现的通用插值方法。陶洪久等提出的小波域的双线性插值。Lertrattanapanich和Bose提出的基于光滑性约束的Delaunay三角化插值算法。这类方法的优点是算法快速易行，适合并行计算，基本可以满足实时要求；但因为不能引入额外有用的高频信息，因而很难在SR图像中得到锐化的效果。同事，也没有考虑到LR图像的像素值并不是HR图像的理想采样值，而是对HR图像像素值的空间平均和卷积效应这一事实。

（2）基于重建的方法  

     基于重建的方法也称之为基于模型的方法。它通过研究图像的高分辨率细节在低分辨率下的表现形式，建立两者之间的对应关系，并利用某种模型来刻画这种映射关系。一般而言，这种方法所有的可用信息都从输入数据中得到，没有任何附加的背景知识，整个解决过程相当于一个信息提取和信息融合的问题，最典型的方法是凸集投影法和最大后验概率估计法由于图像含义未知，因此所有信息只能全部从输入的图像序列中获得。随着分辨率放大系数的增加，需要提供的输入图像样本数量急剧增加，直到达到放大系数的上限后，无论增加多少输入图像样本，都无法再改善重建效果。

（3）基于学习的方法  

     该方法是近年来超分辨率算法研究的热点方向，基本思路是借助训练样本来计算得到高分辨率、低分辨率之间的先验知识的，并建立两者之间的映射模型。在测试的时候，计算测试样本和训练样本之间的邻域关系，按照某种选择或者匹配机制将信息添加到待处理的图像中，从而实现分辨率的提高。基于学习的方法认为，低分辨率的图像已经拥有充分的用于推理预测其所对应的高分辨率部分的信息，通过对一组同时包括高分辨率图像和低分辨率图像的训练集合的训练，学习到一个联合的系统模型．这个模型的表现形式可以是：一组学习到的插值核、一个低分辨率patch的查找表、低分辨率patch与高分辨率patch之间的映射系数等。