图像超分辨——传统方法（个人总结）

根据自己的经验总结一下图像超分辨的方法，图像超分辨（Image Super Resolution）可以分为传统方法和深度学习方法，传统方法一直都在出paper，最近几年深度学习在处理图像、文本、语音的任务上表现出了一定的优势，所以基于深度学习做超分辨在最近几年发了很多paper，包括最早地将CNN用于超分辨，后来的ResNet，GAN等。

lena的原始图像为512×512，lena x4为1/4原图的低分辨图像，使用超分辨重构方法重构为与原始图像同样尺寸的超分图像，PSNR/SSIM均在RGB空间得到。

lena (PSNR/SSIM)

lena x4

传统超分辨方法：

1、插值方法

最常用的插值方法包括bilinear、bicubic、lanczos、nearest等（所有符号都是使用matlab的imresize插值方法的符号），这些图像重构（超分辨）方法都只使用低分辨率图像自身的像素信息，而且每一个位置的像素点都是基于该像素周围的信息进行插值的，所以重构图像都是非常模糊的。重构的PSNR/SSIM为28.626/0.775，这个值是比较低的，可以看到图像是很模糊的。

bicubic (28.626/0.775)

2、基于稀疏表示（字典学习）的方法

文章Image Super-Resolution as Sparse Representation of Raw Image Patches（CVPR2008）、Image Super-Resolution Via Sparse Representation（TIP2010）将稀疏表示方法用于超分辨任务。该方法（ScSR）将低分辨率图像和高分辨率图像表示为字典与原子，也就是高分辨图像表示为，低分辨率图像表示为，其中分别为高分辨率图像和低分辨率图像，为原子表示。ScSR首先使用高-低分辨率图像集训练字典，这个训练的时间是比较长的，但由于是离线训练，可以不考虑时间，训练完字典后，就可以使用低分辨率图像得到，因为假设高和低分辨率图像的是近似的，所以随后就可以得到重构图像。以下是ScSR得到的重构图像，可以看到评测指标PSNR/SSIM相比直接插值有所提高，部分细节有所恢复，但有明显的锯齿。

ScSR (29.157/0.786)

随后的一些基于稀疏表示的方法很多都是以ScSR为基础，再加一些正则约束等。

更多文章：

Robust Single-Image Super-Resolution Based on Adaptive Edge-Preserving Smoothing Regularization（TIP2018）

3、基于局部嵌入（Neighbor Embedding）的方法

该方法使用流形学习中的locally linear embedding（LLE）局部线性嵌入，LLE假设邻域内样本之间的线性关系在不同维度的空间是可以保持的。基于LLE的超分辨方法假设在低维空间中的低分辨率（领域）图像patches（feature）的线性关系在高维空间中的高分辨率（领域）图像patches（feature）是可以保持的。文章Super-Resolution Through Neighbor Embedding（CVPR2004）首先构造一个高-低分辨率图像数据集，将图像梯度作为feature，对于要重构的低分辨率图像，首先提取feature，然后基于feature在数据集中寻找k个最近邻feature，计算权重，同时获取数据集中对应k个高分辨率图像的feature，重构对应的高分辨率图像的feature，再使用feature恢复出，当然，以上都是基于图像patch进行处理的。

更多文章：

Image Super-Resolution With Sparse Neighbor Embedding（TIP2012）

4、Example-Based的方法

文章Super-Resolution from a Single Image（ICCV2009）（Glasner）只利用低分辨率该图像自身的信息进行重构，文章Glasner中的一张图很清晰地解释了Example-Based方法的原理：

Glasner Figure.4

Glasner文章将Example-base超分辨方法与Classical超分辨方法结合起来，为低分辨率图像，为恢复的高分辨率图像，首先构造一个基于的下采样图像金字塔（青色图像们），对于中红色的patch，记为，在的下采样图像中找最近邻patch，记为，也就是中的红色patch，可以找到中对应于位置的patch（中的橙色patch），将这一patch作为的超分图像patch，也就是中橙色patch。Glasner方法要求图像中要有很多大小不一但形状相似的区域，如建筑物，这种图像恢复效果比较好，而且低分辨图像中要保留一定的纹理，如果图像太小，纹理很粗糙，恢复效果自然也不好，Glasner主页展示了很多恢复效果图。下图lena的Glasner超分辨图像，由于低分辨图像太小，而且相同区域不是很多，所以恢复效果不佳。

文章Single Image Super-resolution from Transformed Self-Exemplars（CVPR2015）（SelfExSR）与Glasner的不同可以由SelfExSR的Figure.2说明，Glasner属于(b) Interal SR，SelfExSR属于(c)，(c)对patch作了Transformed，所以更加合理，找到相似patch的可能性更大，而(a) External方法中的patch来源于外部数据库（图像集）。

SelfExSR Figure.2

SelfExSR结果：

SelfExSR (29.969/0.806)

更多文章：

Image and Video Upscaling from Local Self-Examples （TOG2011）

Anchored Neighborhood Regression for Fast Example-Based Super-Resolution（ICCV2013）

Learning Super-Resolution Jointly From External and Internal Examples（TIP2015）

5、其他

自然图像先验与反卷积：Fast Image/Video Upsampling （TOG2008）