【Super Resolution】【论文阅读】【CVPR2019】Feedback Network for Image Super-Resolution

论文地址：https://arxiv.org/pdf/1903.09814.pdf

Code：https: //github.com/Paper99/SRFBN_CVPR19

四川大学、加州大学圣巴巴拉分校、大不列颠哥伦比亚大学、韩国仁川国立大学

 

先来看下效果，接下来进入正题。

1、论文贡献（共三点）：

• 提出了一种新的网络super-resolution feedback network (SRFBN)
• 提出了一种新的结构feedback block (FB)
• 提出了一种新的训练策略curriculum-based training strategy

2、网络分析

SRFBN

 

从图中我们可以看出，SRFBN的网络结构主要分为三部分，第一部分为低分辨率特征提取块 (LR feature extraction block,LRFB)，第二部分为论文提出的反馈块(feedback block,FB)，第三部分为重构块(reconstruction block,RB)。本质上，SRFBN就是一个结合了FB结构的RNN网络。

FB

 

FB的结构如图所示，通过上采样(up sampling layers)、下采样(down sampling layers)以及密集的跳跃连接(dense skip connections)来丰富高层特征表达。其中，

输入为Ft-1out（上一iteration中FB的输出）和Ftin（当前iteration中LRFB的输出），

• 

FB结构的开端和结尾都分别使用了1x1卷积做特征融合，中间则为G个projection groups，

• 

Ftout输出到当前iteration的RB和下一iteration的FB。

• 

curriculum-based training strategy

通过递增式的增进循环结构中每个iteration的任务难度来增强网络学习能力。比如当FB的iteration次数T=4时，在前两个iterations提供模糊的高分辨率图像(blurred HR images)或者有噪点的高分辨率图像(noisy HR images)做为ground truth，而在后两个iterations中才使用原始高分辨率图像(original HR images)做为ground truth。

使用L1 loss做损失函数

• 

3、实验

Settings

优化器使用Adam，初始化学习率0.0001，每200个epoch学习率减半，使用和EDSR相同的数据增强方式。

构造了三种LR图像

• BI：bicubic downsampling as standard degradation model.
• BD ：applies Gaussian blur followed by downsampling to HR images(use 7x7 sized Gaussian kernel with standard deviation 1.6 for blurring).
• DN：bicubic downsampling followed by adding Gaussian noise, with noise level of 30. 

输入大小

 

Analysis

• Study of T and G

不同数量iteration(T)/不同数量projection groups(G)-----------显然T/G都是越大越好

 

• Feedback vs. feedforward

SRFBN-L-FF：除最后一个iteration，其他iteration只做循环不计算loss（feedforward）

SRFBN-L：所有iteration都计算loss（feedback）

• Study of curriculum learning

 

training from scratch and fine-tuning on a network pretrained on the BI degradation model

 

Results

SRFBN+是在SRFBN基础上使用了self-ensemble method

 

 

PSNR高，SSIM高，参数少，新思路。