DRRN阅读笔记

DRRN：深度递归残差网络

1.介绍

本文提出了一种非常深的CNN模型（多达52个卷积层），称为深度递归残差网络（DRRN），它致力于深入而简洁的网络。 具体而言，采用残差学习，以减轻培训深层网络的难度; 递归学习用于控制模型参数，同时增加深度。 广泛的基准评估表明，DRRN明显优于SISR的最新技术水平，同时利用更少的参数。

主要有两个新颖点：

1. 在VDSR和DRCN中应用的只是从输入到输出的全局残差学习（GRL），GRL主要可以降低训练深层网络的难度。DRRN中又添加了局部残差学习（LRL），可以减少经过深层网络后图像细节的丢失。（LRL每几个堆叠层就可以有一个而GRL只会有一个）
2. 关于残差单元的递归学习，可以使得模型更加紧凑。在DRCN中，递归层被学习并且权重在16个卷积递归层中分享。DRRN和DRCN有两个主要的区别：一是并不所有卷积层共享一个权重，DRRN拥有由数个残差单元组成的递归块，权重在这些残差单元中共享；二是DRRN通过设计具有多路径结构的递归块从梯度爆炸/消失的负担中解脱出来，可以很容易的训练，并且仅仅增加卷积深度而不添加参数就能提升准确度。

2.相关工作

以上是RESNET，VDSR,DRCN和DRRN的简略模型图

VDSR在残差分支有20个权重层，这也导致了更大的感受野，GRL以及可调节的梯度裁剪使VDSR收敛更快，并且可以处理不同缩放程度的图像。

DRCN添加了更多的权重层，引进了更多的参数。为了解决多参数导致的过拟合问题，DRCN应用了递归层，所以即使递归层中有再多的递归，模型的参数也不会增加。DRCN包括三部分：嵌入网，推断网和重塑网。推断网即递归层（有16层递归，共享w）。DRCN拥有梯度监管以及跳跃链接：

3.具体创新点介绍

首先如上图结构所示，ResNet在同一分支下应用了两次不同的x（第二次的x用的是第一次所得到的结果），而DRRN则在同一分支的两次残差学习中应用了相同的x，这样也促进了残差学习。

3.1 残差单元Residual Unit

残差单元的基本计算如下：

后来那个何教授提出了一种新的残差学习方式，即在权重层计算前先进行激活函数的计算，这样可以提高性能并使得网络更容易训练，具体公式如下：

本文作者又进行了进一步改良，使得identify branch 和residual branch的输入不同，就像第3节开头所说，对于在一个递归区内的所有identify branch的输入保持相同，结构如下图，

这样的结果是在我们的递归区内会有多条不同的路径，

residual path帮助学习高度复杂的特征，identity path则用来帮助训练时的梯度反向传播，与链模式相比，这种模式有利于学习，不容易过拟合，具体计算公式如下：

由于残差单元被递归学习，权重w在一个递归区中共享，但是在不同的递归区内不同。

3.2 递归区Recursive Block

递归区具体形状如上图Figure4.在递归区最初有一个conv层。然后加入数个3.1中所提到的残差单元。用B来表示递归区的数目，xb-1 和 xb 分别是第b个递归区的输入和输出，U是残差单元的数量，最后有公式（这里有点小理解问题，回头看）：

3.3 网络结构

DRRN的网络深度可以如下公式计算：

loss通过下式计算：

4.实验

总感觉实验没什么需要记的东西...

5.结论

在本文中，我们提出了深度递归残差网络（DRRN）的单图像超分辨率。 在DRRN中，在递归块中递归地学习增强的残差单元结构，并且我们堆叠若干递归块以学习HR和LR图像之间的残差图像。 然后将残差与从identity branch传来的LR图像相加来估计HR图像。 广泛的基准实验和分析表明，DRRN是SISR的深度，简洁和卓越的模型。