SR记录(个人)

Under construction!(Until 2017.12)

---

Super Resolution论文列表

Deep Learning Methods

SRCNN★★★

[Paper] Learning a Deep Convolutional Network for Image Super-Resolution
[Year] ECCV 2014
[Authors] Chao Dong, Chen Change Loy, Kaiming He, Xiaoou Tang
[Pages] http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html
[Description]
1) Deep Learning用于图像超分辨的第一篇
2) 将LR图像用bicubic差值放大，网络有三个卷积层，对图像的亮度通道进行处理，采用MSE作为loss
3）将三层卷积解释为“patch特征表达-非线性映射-重建”，┓( ´-` )┏

CSCN ★

[Paper] Deep Networks for Image Super-Resolution with Sparse Prior
[Year] ICCV 2015
[Authors] Zhaowen Wang, Ding Liu, Jianchao Yang, Wei Han, Thomas Huang
[Pages] http://www.ifp.illinois.edu/~dingliu2/iccv15/
[Description]
1) DL与Sparse Coding结合的论文，效果好于稍早的SRCNN
2) SCN模块基于LISTA算法，该算法用可学习的神经网络模拟sparse coding
3) 将多个SCN叠加，形成CSCN模型，可同时预测多个尺度的超分辨重建结果

VDSR ★★

[Paper] Accurate Image Super-Resolution Using Very Deep Convolutional Networks
[Year] CVPR 2016 Oral
[Authors] Jiwon Kim, Jung Kwon Lee, Kyoung Mu Lee
[Pages]
https://cv.snu.ac.kr/research/VDSR/
https://github.com/huangzehao/caffe-vdsr
[Description]
1) 将残差学习引入Super Resolution,主要对比SRCNN
2) 用更深的网络(20层),具有更大的感受野，能更好的学习细节信息
3) 用Residual Learning，对LR和HR图像差异的细节建模，使网络收敛更快
4) 用多个尺度的图像进行训练，学到的网络适用于任意scale。此处没什么理论解释，只是实验结果上不错。可能是网络的capacity较大，可以学到不同尺度的LR到HR的映射关系。感觉很牵强。

DRCN ★★

[Paper] Deeply-Recursive Convolutional Network for Image Super-Resolution
[Year] CVPR 2016
[Authors] Jiwon Kim, Jung Kwon Lee, Kyoung Mu Lee
[Pages] https://cv.snu.ac.kr/research/DRCN/
[Description]
1) 采用Recursive CNN，效果与VSDR差相仿佛
2) Inference部分采用Recursive机制，只有一个卷积模块，反馈多次，每次反馈共享一组卷机参数，好处是避免引入过多参数的同时，增大感受野
3) 为降低DRCNN训练的难度，使用了Recursive Supervision和Skip Connection
4) Recursive Supervision指对每次迭代的输出都进行有监督学习，n次迭代结果的加权和作为最后的重建结果，网络的总loss加入了每一轮迭代的误差
5) Skip Connection就是Redisual Learning那一套，和VSDR里用的一样，就是换了个马甲

ESPCN ★★

[Paper] Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network
[Related papers]
Is the deconvolution layer the same as a convolutional layer?
Checkerboard artifact free sub-pixel convolution
[Year] CVPR 2016
[Authors] Wenzhe Shi, Jose Caballero, Ferenc Huszar, Johannes Totz, Andrew P. Aitken, Rob Bishop, Daniel Rueckert, Zehan Wang
[Pages] https://github.com/Tetrachrome/subpixel (Related project)
[Description]
1) 采用直接在LR图像上卷积的策略，理论部分没什么可说的，效果也不如同年的VDSR和DRCN，只是比较快
2) 策略是在n-1层用r2个滤波器，再把这些滤波器展成r x r的，这样n-1层H x W的feature map就能映射为rH x rW的HR图像。作者把这成为sub-pixel convolution，然而其实并没卷积╭(╯^╰)╮

FSRCNN ★

[Paper] Acclerating the Super-Resolution Convolutional Neural Network
[Year] ECCV 2016
[Authors] Chao Dong, Chen Change Loy, Xiaoou Tang
[Pages] http://mmlab.ie.cuhk.edu.hk/projects/FSRCNN.html
[Description]
1) SRCNN的改进加速版，声称可以达到real time
2) 为了加速，输入不进行差值，直接送入CNN进行特征提取，最后通过Deconvolution得到HR图像
3) 中间非线性映射部分，使用Shrinking – Nonlinear mapping – Expanding策略，其实也就是用1 x 1的卷积降低和增加Feature map的个数
4) 常用的91张图片的训练集不够，一般的数据集是JPG的做SR的训练不甚好，作者制作了包含100张无损图片的新数据集

LapSRN ★★

[Paper] Deep Laplacian Pyramid Networks for Fast and Accurate Super-ResolutionConvolutional Neural Network
[Year] CVPR 2017
[Authors] Wei-Sheng Lai, Jia-Bin Huang, Narendra Ahuja, Ming-Hsuan Yang
[Pages] http://vllab.ucmerced.edu/wlai24/LapSRN/
[Description]
1) 采用金字塔级联结构逐级重建，使用Charbonnier loss，分为特征提取(残差学习)和图像重建两支
2) 残差学习每个scale由若干个卷积和1个转置卷积组成，使用LReLU
3) 图像重建每个scale由一个转置卷积上采样，之后与同一scale的残差图像相加得到重建图像
4) 速度略慢于FSRCNN，快于VDSR，DRCN，SRCNN，但没与ESPCN比
5) 为什么叫这个网络为Laplacian金字塔网络？

IRCNN ★★

[Paper] Learning Deep CNN Denoiser Prior for Image Restoration
[Year] CVPR 2017
[Authors] Kai Zhang, Wangmeng Zuo, Shuhang Gu, Lei Zhang
[Pages] https://github.com/cszn/ircnn
[Description]
1) 将判别式的CNN denoiser结合进model-based optimization method中，解决图像修复问题(denoise, deblur, SR)
2) 使用了HQS(Half Quadratic Splitting)分离变量的思想，将优化过程分为迭代的两步，其中一步可以转化为求解denoiser prior问题，本文用CNN 学习Denoiser Prior

DRRN ★☆

[Paper] Image Super-Resolution via Deep Recursive Residual Network
[Year] CVPR 2017
[Authors] Ying Tai, Jian Yang, Xiaoming Liu
[Pages] http://cvlab.cse.msu.edu/project-super-resolution.html
[Description]
1) Residual Unit + Recursive Block
2) 将VDSR和DRCN结合起来，并用了VDSR的adjustable gradient clipping，得到了较好的效果

EDSR ★

[Paper] Enhanced Deep Residual Networks for Single Image Super-Resolution
[Year] CVPR 2017 workshop
[Authors] Bee Lim, Sanghyun Son, Heewon Kim, Seungjun Nah, Kyoung Mu Lee
[Pages] https://github.com/LimBee/NTIRE2017
[Description]
1) NTIRE2017 Super-Resolution Challenge冠军
2) 比赛提供了更大规模的数据集DIV2K，能够支持大规模网络的训练
3) 使用Residual block并加入了Residual scaling
4) 提出了单尺度的EDSR和多尺度的MDSR，从效果上看EDSR要略好于MDSR
5) 为了提高精度使用了各种trick，需要时可以借鉴

GAN Methods

Perceptual Loss ★★

[Paper] Perceptual Losses for Real-Time Style Transfer and Super-Resolution
[Year] ECCV 2016
[Authors] Justin Johnson, Alexandre Alahi, Li Fei-Fei
[Pages] http://cs.stanford.edu/people/jcjohns/eccv16/
[Description]
1) SR可看做一种image transformation task。目前SR大多采用MSE损失，没有考虑”perceptual differences”，本文从GAN的一些paper中获取灵感，提出了用perceptual losses优化SR（风格迁移此处暂未研究）
2) 分为image transformation network和loss network两部分
3) 图像变换网络用的是五个residual blocks，用分数卷积代替pooling，具体设置需要时再参考
4) loss网络用的是在ImageNet上预训练的VGG16，参数在这里是固定的，这么做的理由是“用于分类的CNN预训练网络已经学习去编码感知和语义的信息”
5) 论文重点是提出思想，实验上PSNR和SSIM指标都不高，低于SRCNN

SRGAN ★★★

[Paper] Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
[Year] CVPR 2017
[Authors] Christian Ledig, Lucas Theis, Ferenc Huszar, Jose Caballero, Andrew Cunningham, Alejandro Acosta, Andrew Aitken, Alykhan Tejani, Johannes Totz, Zehan Wang, Wenzhe Shi
[Pages] (Unofficial implementation)
https://github.com/zsdonghao/SRGAN
https://github.com/titu1994/Super-Resolution-using-Generative-Adversarial-Networks
https://github.com/leehomyc/Photo-Realistic-Super-Resoluton
[Description]
1) 提出了一种结合GAN的perceptual loss，模型分为Generator网络和Discriminator网络
2) Generator网络与Johnson的paper一样采用了residual block结构，目的是从LR图像生成HR图像
3) Discriminator网络判断生成的HR是否为真实图像，它使生成的网络趋向于生成逼近真实图像的HR图像
4) loss包括两部分: content loss和advisarial loss。content loss参考Johnson，用预训练的vgg19输出特征的L2距离作为loss；adversarial loss基于生成器输出的概率定义
5) 文中认为PSNR不能很好反映重建图像的质量，优化MSE虽然能带来高PSNR，但会产生过渡平滑的结果（MSE倾向于产生多个解的平均值）。因此进行了一个MOS（Mean opinion score）测试，人工地给几种方法打分。SRGAN的MOS明显优于其它方法。
6) 虽然作者认为SRGAN能产生高质量的重建结果，但在PSNR和SSIM两个常用指标上评分实在难看。所以又把advisarial的部分去掉，弄了一个SRResNet，在4x重建下达到了soa。(但整个网络是在ImageNet上预训练的！)

AffGAN ★♥

[Paper] Amortised MAP Inference for Image Super-resolution
[Year] ICLR 2017 Oral
[Authors] Casper Kaae Sønderby, Jose Caballero
Lucas Theis, Wenzhe Shi, Ferenc Huszár
[Pages]
[Description]
1) 没弄明白的地方很多，之后应仔细研究，如：为什么称为amortised MAP inference，公式(7)中投影到子空间是什么意思，3.4节方法的细节，怎么用Monte Carlo完成MAP estimiation，方法的具体实现等
2) 论文提出用approximate MAP inference从输入的LR图像中估计HR图像的概率分布，并证明了MAP推断模型的训练可以转化为最小化HR图像分布与模型预测分布之间的交叉熵的问题
3) 提出了三种最小化该交叉熵的方法：GAN(并引入instance noise)，通过去噪模型估计梯度进而使用BP更新MAP推断模型的参数，使用类似于pixel CNN的生成模型直接估计概率密度
4) 在Celeb-A和ImageNet上通过实验证明了AffGAN可以生产视觉效果很好的重建图像

EnhanceNet ★★

[Paper] EnhanceNet: Single Image Super-Resolution through Automated Texture Synthesis
[Year] ICLR 2017 Oral
[Authors] Mehdi S. M. Sajjadi, Bernhard Schölkopf, Michael Hirschr
[Pages] https://webdav.tue.mpg.de/pixel/enhancenet/
[Description]
1) 使用perceptual loss和texture matching loss，两个loss均使用了VGG19提取特征
2) 使用了advisarial training，生成HR的网络为生成器
3) 同样提出PSNR不能准确反映视觉效果，使用了两种评价方法：1. 用重建的图像做分类，比较几种方法的分类精度；2. 在ImageNet上人工投票打分
4) texture matching loss的加入使结果更接近真实，更sharp一些，但还是存在较明显的artifacts

sources & lists

https://github.com/huangzehao/Super-Resolution.Benckmark
https://github.com/YapengTian/Single-Image-Super-Resolution