超分辨率(super-resolution)VS解模糊(deblur)

实际生活中对模糊图像的处理已经迫在眉睫，不管是相机抖动，雾霭，噪声，本身分辨率不够，等多种原因，都需要一种有效的方法将不清晰的模糊的图像变为清晰的图像。一种方法是提高图像的分辨率，另一种就是提高图像的质量（类似photoshop中图像的品质）。由此也产生2个不同的研究方向，一个是超分辨率方向，一个是解模糊方向。

1.超分辨率

 

SRCNN

香港中文大学，汤小欧老师组提出的。2014年的一篇ECCV，2015年的一篇TPAMI。该论文提出了一种从低分辨率到高分辨率的端到端（end-to-end）的解决方案。该方法有别于传统的超分辨率稀疏编码（sparse-coding-based SR）.通过调整网络结构和参数，该方法取得了效果和速度之间的最好折中。单独从肉眼很难区别出原始图像和超分辨率图像的好坏，通过局部放大和峰值信噪比（PSNR），可以看出SRCNN方法优于Bicubic（双三次插值），SC（sparse-coding稀疏编码）方法。

 

官网还提供了相应的MATLAB代码，实际运行的效果如下:

 

 

 

waifu2x

waifu2x，日本某死宅受香港中文大学一群学生的算法论文启发开发的一个二次元图形降噪算法，并带有resize的功能。连算法的名字都这么感人，waifu=ワイフ……知道真相的我眼泪掉下来……心疼这只死宅。

waifu2x算法通过对若干个模型(样本)进行模拟运算和学习，对自身算法进行优化，然后再对输入的图片进行拉伸放大和降噪，进而获得较好的处理效果。所以也被叫做“人工智能算法”、“神经网络算法”。

某些情况下可以做到近乎无损的放大，甚至是附带增益效果(指人眼观感上)。

github提供了基于Torch的官方程序，当然也有热心童鞋的VS版本。简单的说，该方法除了可以将原图变清晰，还可以生成放大2倍后的清晰图，完全有别于imresize。

具体效果如下，左图为原始图像，中间为imresize后的2倍图像，右图为waifu2x 2倍放大后效果图，从视觉上还是可以看出waifu2x具有非常不错的效果。本人改好的程序的下载链接：http://download.csdn.net/detail/qq_14845119/9689581。

 

类似的还有谷歌的RAISR，其全称是“Rapid and Accurate Image Super-Resolution”， 意为“快速、精确的超分辨率技术”。也是一种基于超分辨率的图像清晰技术。

2.解模糊

 

SmartDeblur

图像处理专家兼程序员Vladimir Yuzhikov编写了一款名为SmartDeblur的软件，该软件可以复原那些由于失焦、抖动以及人为刻意制造的模糊（高斯模糊）图像。并且作者在github上开源了起代码，当然后续就没有更新了，目前的代码可以说不是效果最好的代码，2013年作者将其做成软件出售，对于FBI啥的还是很有用的，有木有感觉像碟中谍那样的,一个模糊的字条用黑寡妇一处理就清晰的看到了里面的电话，一脸黑线的路过。

 

RobustMotionDeblur

该方法为香港中文，贾佳亚老师组的一系列成果。通过一种基于空间优先（spatial prior）和迭代支持检测（iterative support detection）的核检测方法来去除图像的模糊抖动。该方法对于抖动造成的模糊具有非常好的还原效果。很遗憾没有开源程序，官网给出了相应的EXE软件。

 

reference：

https://github.com/nagadomi/waifu2x

https://github.com/HomeOfVapourSynthEvolution/VapourSynth-waifu2x-opt

https://github.com/Y-Vladimir/SmartDeblur

 

http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html

http://waifu2x.udp.jp/

http://www.cse.cuhk.edu.hk/~leojia/projects/robust_deblur/

http://yuzhikov.com/articles/BlurredImagesRestoration1.htm

Chao Dong, Chen Change Loy, Kaiming He,Xiaoou Tang. Learning a Deep Convolutional Network for Image Super-Resolution,in Proceedings of European Conference on Computer Vision (ECCV), 2014

Chao Dong, Chen Change Loy, Kaiming He,Xiaoou Tang. Image Super-Resolution Using Deep Convolutional Networks, IEEETransactions on Pattern Analysis and Machine Intelligence (TPAMI), Preprint,2015

Kim J, Lee J K, Lee K M. Accurate image super-resolutionusing very deep convolutional networks[J]. arXiv preprint arXiv:1511.04587,2015.