图像超分辨率重构（一）原理及方法总结

超分辨率（Super-resolution）概念理解：

百科：超分辨率(Super-Resolution)通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。

wiki：超分辨率成像（SR-imaging）是提高成像系统分辨率的一类技术。光学SR技术可以超越系统的衍射极限，而几何SR则可以提高数字成像传感器的分辨率。超分辨率成像技术广泛应用于图像处理和超分辨显微术中。

形象理解：

给定图像的像素越高，表示图像质量越接近于原始图像。如果把低像素的图片放大到一定程度，图片会变得非常模糊，类似于马赛克的情况。效果如下图所示：

如果想让上述图像变得清新，这是需要的技术就是超分辨率重构了。

超分辨率重构现有方法：

在知乎上有看到一个帖子：图像超分辨率重构技术还有什么可研究吗？以本人的理解，任何一项技术都有研究和提高的余地，技术进步不就是这样一点点来的吗？总结一下现有的SR技术方法，并附找到的项目链接：

（1）稀疏编码方法（Sparse Coding）

• Image super-resolution as sparse representation of raw image patches (CVPR2008)
• 基于原始图像块稀疏表示的图像超分辨率
  
• Image super-resolution via sparse representation (TIP2010)
• Coupled dictionary training for image super-resolution (TIP2011)

（2）Self-Exemplars

• Single Image Super-Resolution from Transformed Self-Exemplars (CVPR2015)

（3）贝叶斯方法

• Naive Bayes Super-Resolution Forest (ICCV2015)

（4）基于金字塔算法

• http://vllab.ucmerced.edu/wlai24/LapSRN/

（5）深度学习方法（近几年文章很多啊）

• Image Super-Resolution Using Deep Convolutional Networks (ECCV2014)
• Deep Networks for Image Super-Resolution with Sparse Prior (ICCV2015)
• Robust Single Image Super-Resolution via Deep Networks with Sparse Prior (TIP2016)

• Accurate Image Super-Resolution Using Very Deep Convolutional Networks (CVPR2016)
• Deeply-Recursive Convolutional Network for Image Super-Resolution (CVPR2016)
• Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network (CVPR2016)

• Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution (CVPR 2017),
• Enhanced Deep Residual Networks for Single Image Super-Resolution (Winner of NTIRE2017 Super-Resolution Challenge)

关于深度学习在超分辨率重建中的应用：https://zhuanlan.zhihu.com/p/25532538?utm_medium=social&utm_source=weibo

给出了几种实现方法及介绍，github里面相应的项目实现。另外还发现一篇有点尺度的文章《用GAN去除(爱情)动作片中的马赛克和衣服》，感兴趣的请参见这里。

（6）Perceptual Loss and GAN（损失函数上改进）

• Perceptual Losses for Real-Time Style Transfer and Super-Resolution (ECCV2016)
• Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (CVPR2017)

（7）Google基于哈希机制的实现

• 《RAISR: Rapid and Accurate Image Super Resolution》
  

分析：http://blog.csdn.net/jiangjieqazwsx/article/details/69055753

（8）视频SR

• https://users.soe.ucsc.edu/~milanfar/software/superresolution.html
  
• Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation (CVPR2017)

小结：SR使用稀疏编码方法取得的方法已经堪称state-of-the-art级别，深度学习出现后又将效果进一步提升。

11.15增补：

今天看到一篇论文：《Super-Resolution From a Single Image 》（http://www.wisdom.weizmann.ac.il/~vision/SingleImageSR.html），http://cs.brown.edu/courses/csci1950-g/results/final/pachecoj/ ，

另外附几个相关网页：

https://people.mpi-inf.mpg.de/~kkim/supres/supres.htm

《Example-Based-Super-Resolution-Freeman》

18.1.3增补：

神经网络实现：

（1）《Accelerating the Super-Resolution Convolutional Neural Network》，使用matlab的实现。

（2）《Pixel Recursive Super Resolution》，项目实现链接。

参考：

https://en.wikipedia.org/wiki/Super-resolution_imaging

https://www.zhihu.com/question/38637977

https://github.com/huangzehao/Super-Resolution.Benckmark

https://zhuanlan.zhihu.com/p/25532538