【超分辨率】Laplacian Pyramid Networks(LapSRN)

期刊论文:
https://arxiv.org/abs/1710.01992
会议论文CVPR2017:
http://vllab.ucmerced.edu/wlai24/LapSRN/papers/cvpr17_LapSRN.pdf
项目主页:http://vllab.ucmerced.edu/wlai24/LapSRN/

看了眼作者,Jia-Bin Huang是传统算法领域(呃,自从深度学习出来后,我就将之前的算法都算传统方法了)的超分辨率学习的专家大牛。
然而有意思的是,这篇论文结合了传统算法laplacian pyramid 和 CNN网络,这也给我们这些研究者一些思路,可以通过结合经典算法和深度学习作为insight。打个比方,最近KaiMing大神指导的一篇文章:《Non-local Neural Networks 》则将非局部算法融入到深度学习中。
值得惋惜的是,好多人上来就直接研究深度学习,对自己领域的传统算法知之甚少。

LapSRN有两个版本(CVPR版本和期刊版本)。废话不多说,直接进入主题。下面是对期刊论文的LapSRN做简要理解。

Insight

  1. 本文是通过将低分辨率图像直接作为输入到网络中,通过逐级放大,在减少计算量的同时,也有效的提高了精度
  2. 提出了一种鲁棒的loss function, robust Charbonnier loss function.
  3. 对各个金字塔的level之间和每个level之内,通过recursive进行参数共享

【超分辨率】Laplacian Pyramid Networks(LapSRN)_第1张图片

Detail:

网络结构:

一、Network architecture
1. Feature extraction branch
通过stack convolution来获取非线性特征映射
2. Image reconstruction branch
在每一个pyramid level,最后加上deconv来提升图像的2x分辨率

参数共享
本文网络在两个地方进行参数共享,减少了参数量
1. 在各个pyramid level之间参数共享, 称之为Recursive block

因为laplacian pyramid是在x2的基础上得到x4,由于各个level中的结构相似性,因此在各个level,参数得以共享
形式如下:
【超分辨率】Laplacian Pyramid Networks(LapSRN)_第2张图片

2. 每个pyramid level之中参数共享

inspired DRCN and DRRN,作者在每个pyramid level中进行参数共享,如下图
【超分辨率】Laplacian Pyramid Networks(LapSRN)_第3张图片


整个网络深度为:depth = (D x R + 1) x L + 2
也因此会出现了两个超参数 D,R

二、Local residual learning
为了解决梯度弥散问题,作者在各个recursive block上采取了local residual learning。在本文中,作者探究了三种方法来stabilize训练过程:
1. No skip connection
该种方法在之后的实验中称之为: LapSRN(NS)
2. Distinct-source skip connection
该种方法在之后的实验中称之为: LapSRN(DS)
3. Shared-source skip connection
该种方法在之后的实验中称之为: LapSRN(SS)
【超分辨率】Laplacian Pyramid Networks(LapSRN)_第4张图片

实验证明LapSRN(ss)更work一些

三、Loss function

本文认为相同的LR patch 可能有多种corresponding HR patches,而L2范数并不能capture the underlying multi-modal distributions of HR patches. 因此L2范数重建出的图像往往过平滑

本文提出了一种抗噪性强的loss functions:
【超分辨率】Laplacian Pyramid Networks(LapSRN)_第5张图片

Experiments:

D,R关系, D为每个pyramid中的conv数,R为循环次数

【超分辨率】Laplacian Pyramid Networks(LapSRN)_第6张图片

各个超分辨率算法参数细节:
【超分辨率】Laplacian Pyramid Networks(LapSRN)_第7张图片

各个超分辨率算法实验结果:
【超分辨率】Laplacian Pyramid Networks(LapSRN)_第8张图片

你可能感兴趣的:(超分辨率方向,超分辨率)