2019超分论文-Feedback Network for Image Super-Resolution

1、Feedback Network for Image Super-Resolution

设计SRFBN来用高层信息细化低层信息，在带约束的RNN中使用隐状态来实现这种反馈方式。反馈块（FB）用于处理反馈连接并生成强大的高层表示。所提出的SRFBN具有较强的早期重建能力，能够逐步生成最终的高分辨率图像。
（1）基于深度学习方法的好处主要来自于它的两个关键因素:深度和跳连接(residual or dense)。

• 第一种方法提供了强大的功能来表示和建立更复杂的LR-HR映射，同时使用更大的接受域保存更多的上下文信息；
• 第二个因素可以有效地缓解由于简单地叠加更多层来加深网络而导致的梯度消失/爆炸问题。
  （2）resnet和densennet所存在的问题：
  由于这些网络体系结构中的跳过连接采用自底向上的方式使用或组合层次特性，低层特性只能接收来自前一层的信息，受接受域较小的限制，缺乏足够的上下文信息。这些底层特征在以下几层中被重用，从而进一步限制了网络的重构能力。
  这样的大容量网络占用了大量的存储资源，并且存在过度拟合的问题。
  （3）解决方法：
  为了有效降低网络参数，获得更好的泛化能力，采用了递归结构。最近的研究[22,10]表明，许多具有递归结构的网络(如DRCN[19]和DRRN[31])可以外推为单状态递归神经网络(RNN)。与大多数传统的基于深度学习的方法相似，这些具有递归结构的网络能够以前馈的方式共享信息。然而，前馈方式使得前一层不可能从下一层访问有用的信息，即使使用了跳过连接。

（4）本文的解决方法
在认知理论中，连接皮层视觉区域的反馈连接可以将响应信号从高阶区域传递到低阶区域[17,9]。受到这一现象的启发，最近的研究[30,40]将反馈机制应用于网络架构。这些体系结构中的反馈机制以自顶向下的方式工作，将高层信息带回以前的层并细化低层编码信息。
本文提出了一种新的图像SR网络，即超分辨率反馈网络(SRFBN)，通过反馈连接利用高分辨率反馈网络对低分辨率信息进行细化。提出的SRFBN本质上是一个带有反馈块(FB)的RNN，它是专门为图像SR任务设计的。FB由多个上下采样层组成，这些层具有密集的跳过连接，以生成强大的高级表示。受[40]的启发，我们使用FB的输出，即为展开RNN中的隐藏状态，实现反馈方式(图1(a))。每次迭代的隐藏状态都会流向下一个迭代以调整输入。为了保证隐藏状态包含HR图像的信息，我们在训练过程中将损失与每次迭代联系起来。我们反馈方案的原理是粗SR图像的信息可以方便LR图像重建更好的SR图像(见图1(b))。

贡献

（1）提出了一种基于反馈机制的图像超分辨率反馈网络(SRFBN)。高级信息通过反馈连接以自顶向下的反馈流提供。同时，这种具有反馈连接的循环结构具有较强的早期重建能力，且只需要很少的参数。
（2）提出了反馈块(FB)，它不仅有效地处理反馈信息流，而且通过上下采样层和密集的跳过连接丰富了高层表示。
（3）提出了一种基于课程的SRFBN训练策略，将重构难度越来越大的HR图像作为目标输入网络进行连续迭代。这种策略使网络能够一步一步地学习复杂的退化模型，而同样的策略是不可能满足于那些只有一步预测的方法。

网络结构

FB块，内部是一些上采样和下采样交替进行，同时对中间产生的LR和HR特征图进行密集连接。