读论文：Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network

论文：使用双分支卷积神经网络的单图像超分辨率重建

1 介绍

SISR是一个高不适的问题，降级的LR图像包含可能的HR图像的多种解决方案。

存在的问题：
●CNN的共同缺点，随着网络结构的加深，虽然可以得到更好的表现，但是会增加运行时间和存储复杂度，因此适合实际应用。
●输入图像经过bicubic插值，增加了计算复杂度；FSRCNN通过去卷积层扩大尺寸；ESPCN通过子像素卷积层扩大尺寸，实现实时效率。

本文的解决方案：
●设计双分支卷积神经网络代替直接堆叠卷积层的链式编码。
●本文提出的双分支结构：一条分支结构用标准的卷积层提取精细的局部特征；另一条分支结构用扩张的卷积层获得更大的感受野，以用更少的层得到更多的全局上下文细节。
●通过反卷积层扩大尺寸加速算法，并通过自定义的跳过连接提高重建精度。
本文方法减少参数并在不牺牲质量下加快重建速度。

2 相关工作

2.1 用于单图像超分辨率的卷积神经网络
在这个领域，一个成功的网络体系结构是充分探索不同层特征的隐式信息。

2.2 放大尺寸和跳跃连接
放大尺寸的方法有反卷积层（分数步卷积）和子像素卷积层。这两种都存在输入图像和输出图像维度不匹配问题，所以跳跃连接只能设置在输入层和输出层之间，但这不有利于获取更多的信息。

2.3 扩张的卷积层
扩张卷积的核心思想是在卷积内核的像素之间插入“孔”以扩大内核大小。与标准卷积相比，它的最大优点是可以通过适当地设置扩张速率来扩展接受域，而无需增加更多参数。
而扩张卷积有其固有的问题，即存在“网格”效应，这会导致丢失大量上下文信息。即，仅当卷积核的像素不为零时，接收域才真正覆盖，并且其整体外观具有棋盘风格。

3 本文方法

本文的双分支部分充当特征提取的角色。 分支之一是由标准卷积层组成的普通网络，另一分支则由扩张的卷积层组成。
在特征提取阶段之后，有一个特征融合部分，可以增强特征表示。
然后，升级模块紧随其后对特征尺寸进行升采样。剔除批处理规范化层，并对所有激活层采用Leaky ReLU。

3.1 特征提取层

为了尽可能增加接收野并减轻“网格”效应，每层的膨胀率按特定顺序设置（例如1、2、3 ，4、3、2、1）。 每个滤波器的有效大小为3*3，这意味着无论单个内核的膨胀率是多少，用于计算的像素始终为9。

3.2 特征融合
由于DBCN的功能是从两个并行子网中提取的，因此有必要将它们聚合在一起。 一个常见的步骤是像ResNet一样逐像素地相加。 但是，由于从两个子网中提取的特征具有不同的接收域大小，因此将它们简单地添加在一起可能会削弱分层信息的有效性。基于DenseNet 的思想，该思想以级联的方式组合了这些特征，我们通过扩展其通道而不合并任何原始像素值来合并它们。 由于每个分支生成32个特征图，因此在连接后将获得64个特征图。

3.3 扩大模型

由于特征融合是直接级联的，并且来自不同分支的特征具有不同的分布，因此此处不使用亚像素卷积。亚像素卷积不需要任何参数学习，因此无法自适应地区分从不同分支提取的局部和全局信息。 因此，首选去卷积以进一步探索有用的信息。

3.4 跳跃连接
由于LR图像和HR图像的尺寸位于不同的空间，因此不可能在网络的两端之间建立直接跳过连接。本文使用双三次插值法首先对LR图像进行升采样，然后生成所需大小的辅助图像。 随后，将内插图像逐像素地添加到网络元素的输出中。

3.5 损失函数

残差损失函数：
由上述公式知$R_i=I_i^{HR}-I_i^{Bicubic}$

规范化损失函数：

损失函数：

4 实验

4.1 数据集

随机水平或垂直翻转和旋转90，含原始图片共八张，训练。

4.2 模型分析
（1）双分支结构

DBCN，P-P，D-D三种双分支结构对比。
（2）残差学习


（3）包容性策略
在测试期间，我们旋转并翻转输入的LR图像以获得其8个增强版本（包括原始图像），获得八个输出的重建图像，然后我们以相反的方式转换这8个输出图像，对它们的像素值进行平均。 称该方法为DBCN-E。

（4）与其他算法对比

PSNR/SSIM

参数：
时间：