论文总结（三）-- 超分辨算法基础与综述

图像分辨率的概念

图像分辨率泛指成像或显示系统对细节的分辨能力，代表图像中存储的信息量。
指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI(Pixels Per Inch)，通常叫做：像素每英寸。
图片的大小由像素的多少决定，分辨率是单位密度，同量像素图片的分辨率越高，面积越小。
一般情况下，图像分辨率越高，图像中包含的细节越多，信息量也越大。图像分辨率分为空间分辨率和时间分辨率。通常，分辨率被表示成每一个方向上的像素数量，例如64*64的二维图像。但是，分辨率的高低并不等同于像素数量的多少，例如一个通过插值放大了5倍的图像并不表示它包含的细节增加了多少。图像超分辨率重建关注的是恢复图像中丢失的细节，即高频信息。

超分辨问题的分类

超分辨率图像重建 (Super resolution image reconstruction, SRIR 或 SR) 是指用信号处理和图像处理的方法,通过软件算法的方式将已有的低分辨率 (Low-resolution, LR) 图像转换成高分辨率(High-resolution, HR)图像的技术

概括而言,按算法的输入输出的不同类型组合,超分辨率问题可以分为几类子问题,见图1.输入为低分辨率图像序列(视频),输出为单帧高分辨率图像的超分辨率问题,称为基于重建的超分辨率问题(Reconstruction-based super-resolution);输入与输出均为图像序列(视频)的超分辨率问题,称为视频超分辨率问题(Video super-resolution);输入与输出均为单帧图像的超分辨率问题,称为单帧图像超分辨率问题(Single image super resolution,SISR).根据是否依赖训练样本,超分辨率问题又可以分为增强边缘的超分辨率问题(Edge-focused super-resolution) (无训练样本)与基于学习的超分辨率问题(Learning-based superresolution) (有训练样本)两种.对于输入为单帧低分辨率图像,输出为图像序列 (视频)的问题,由于其缺失的信息太多,研究的实际意义不大,几乎没有相关的研究。

单幅图像的超分辨

基于学习的单帧超分辨率问题是近年来研究的一个热点,又称为图像幻感 (Image hallucination)或基于样例(Example-based) 的超分辨率, 它通过机器学习方法从训练样本集中提取所需的高频信息模型,从而对未知测试样本的所需信息进行预测,达到提高图像分辨率的目的, 参见图 5. 大部分的基于学习的超分辨率方法都是基于分块(Patch-based)的,目标图像平面被分成小的图像块, 通过计算求取低分辨率图像块所对应的高分辨率图像块.

基于学习的超分辨率算法相关的核心问题主要有两个部分: 算法模型的建立和训练集合的选取.
历史上采用的超分辨的算法：最近邻搜索-马尔科夫随机场 (MRF)-邻域嵌入
近几年：
稀疏表达
Yang J C, Wright J, Huang T, Ma Y. Image super-resolution as sparse representation of raw image patches. In: Proceedings of the 2008 IEEE Conference of Computer Vision and Pattern Recognition (CVPR). Anchorage, AK: IEEE, 2008.1−8

将基于学习的超分辨率问题看作一个回归问题,用稀疏回归(Sparse regression) 技术进行快速的回归计算
Kim K I, Kwon Y. Single-image super-resolution using sparse regression and natural image prior. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010,
32(6)

提出从训练样本集中学习得到一个更有效的字典(Dictionary).具有分辨率无关性的图像表达(Resolution-invariant image representation, RIIR)[67]被应用于快速的多级超分辨率图像重建任务
Yang J C, Wright J, Huang T S, Ma Y. Image superresolution via sparse representation.IEEE Transactions on Image Processing, 2010,19(11): 2861−2873
Wang J J, Zhu S H, Gong Y H. Resolution enhancement based on learning the sparse association of image patches. Pattern Recognition Letters, 2010, 31(1): 1−10

专门对人脸图像进行基于学习的超分辨率重建的方法也是一个相关的研究热点（能不能专门对遥感图像进行基于学习的超分辨？）
Liu C, Shum H Y, Freeman W T. Face hallucination: theory and practice.International Journal of Computer Vision, 2007,75(1): 115−134
Zhang W, Cham W K. Learning-based face hallucination in dct domain. In: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Anchorage, AK: IEEE, 2008. 1−8

将增强边缘的超分辨率与基于学习的超分辨率相结合,使重建的图像结果既包含较好的纹理结节,又有较清晰的边缘轮廓.
Sun J, Zhu J J, Tappen M F. Context-constrained hallucination for image super-resolution. In: Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco, CA: IEEE, 2010. 231−238
Tai Y W, Liu S C, Brown M S, Lin S. Super resolution using edge prior and single image detail synthesis. In: Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Francisco, CA: IEEE, 2010. 2400−2407

目前超分辨的论文：
香港中文大学汤晓鸥教授实验室的SRCNN超分辨算法，正在研究相关论文，还有其他的还需再查相关文献。还有一种基于生成对抗网络的超分辨GAN是一个点，抽时间要看看。

参考：

1. 超分辨率图像重建方法综述.苏衡
2. http://blog.sina.com.cn/s/blog_9e1e8c1301015xat.html
3. http://baike.baidu.com/link?url=NTgTWytIFUZCv03yrL8bjpG7KxKCpWa2fVo1n8g3hXlTyoRqUtWbDqJzD_qCpSyxbXvDlAjEehZx8LSuitxZH0XHGCEgRUwcYLethJlhHgKj_–Y7degfORRcp3CTjnMhhQ5T1-aZXynTm6mVPhU4K