读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network

论文:使用双分支卷积神经网络的单图像超分辨率重建

1 介绍

SISR是一个高不适的问题,降级的LR图像包含可能的HR图像的多种解决方案。

存在的问题:
●CNN的共同缺点,随着网络结构的加深,虽然可以得到更好的表现,但是会增加运行时间和存储复杂度,因此适合实际应用。
●输入图像经过bicubic插值,增加了计算复杂度;FSRCNN通过去卷积层扩大尺寸;ESPCN通过子像素卷积层扩大尺寸,实现实时效率。

本文的解决方案:
●设计双分支卷积神经网络代替直接堆叠卷积层的链式编码。
●本文提出的双分支结构:一条分支结构用标准的卷积层提取精细的局部特征;另一条分支结构用扩张的卷积层获得更大的感受野,以用更少的层得到更多的全局上下文细节。
●通过反卷积层扩大尺寸加速算法,并通过自定义的跳过连接提高重建精度。
本文方法减少参数并在不牺牲质量下加快重建速度

2 相关工作

2.1 用于单图像超分辨率的卷积神经网络
在这个领域,一个成功的网络体系结构是充分探索不同层特征的隐式信息。

2.2 放大尺寸和跳跃连接
放大尺寸的方法有反卷积层(分数步卷积)和子像素卷积层。这两种都存在输入图像和输出图像维度不匹配问题,所以跳跃连接只能设置在输入层和输出层之间,但这不有利于获取更多的信息。

2.3 扩张的卷积层
扩张卷积的核心思想是在卷积内核的像素之间插入“孔”以扩大内核大小。与标准卷积相比,它的最大优点是可以通过适当地设置扩张速率来扩展接受域,而无需增加更多参数。
而扩张卷积有其固有的问题,即存在“网格”效应,这会导致丢失大量上下文信息。即,仅当卷积核的像素不为零时,接收域才真正覆盖,并且其整体外观具有棋盘风格。

3 本文方法

读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network_第1张图片
本文的双分支部分充当特征提取的角色。 分支之一是由标准卷积层组成的普通网络,另一分支则由扩张的卷积层组成。
在特征提取阶段之后,有一个特征融合部分,可以增强特征表示。
然后,升级模块紧随其后对特征尺寸进行升采样。剔除批处理规范化层,并对所有激活层采用Leaky ReLU。

3.1 特征提取层
读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network_第2张图片
为了尽可能增加接收野并减轻“网格”效应,每层的膨胀率按特定顺序设置(例如1、2、3 ,4、3、2、1)。 每个滤波器的有效大小为3*3,这意味着无论单个内核的膨胀率是多少,用于计算的像素始终为9。

3.2 特征融合
由于DBCN的功能是从两个并行子网中提取的,因此有必要将它们聚合在一起。 一个常见的步骤是像ResNet一样逐像素地相加。 但是,由于从两个子网中提取的特征具有不同的接收域大小,因此将它们简单地添加在一起可能会削弱分层信息的有效性。基于DenseNet 的思想,该思想以级联的方式组合了这些特征,我们通过扩展其通道而不合并任何原始像素值来合并它们。 由于每个分支生成32个特征图,因此在连接后将获得64个特征图。

3.3 扩大模型
读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network_第3张图片
由于特征融合是直接级联的,并且来自不同分支的特征具有不同的分布,因此此处不使用亚像素卷积。亚像素卷积不需要任何参数学习,因此无法自适应地区分从不同分支提取的局部和全局信息。 因此,首选去卷积以进一步探索有用的信息。

3.4 跳跃连接
由于LR图像和HR图像的尺寸位于不同的空间,因此不可能在网络的两端之间建立直接跳过连接。本文使用双三次插值法首先对LR图像进行升采样,然后生成所需大小的辅助图像。 随后,将内插图像逐像素地添加到网络元素的输出中。

3.5 损失函数

生成图像
在这里插入图片描述
残差损失函数:读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network_第4张图片
由上述公式知 R i = I i H R − I i B i c u b i c R_i=I^{HR}_i-I^{Bicubic}_i Ri=IiHRIiBicubic

规范化损失函数:
规范化
损失函数:读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network_第5张图片

4 实验

4.1 数据集
读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network_第6张图片
随机水平或垂直翻转和旋转90,含原始图片共八张,训练。

4.2 模型分析
(1)双分支结构
读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network_第7张图片
DBCN,P-P,D-D三种双分支结构对比。
(2)残差学习
读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network_第8张图片
读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network_第9张图片
(3)包容性策略
在测试期间,我们旋转并翻转输入的LR图像以获得其8个增强版本(包括原始图像),获得八个输出的重建图像,然后我们以相反的方式转换这8个输出图像,对它们的像素值进行平均。 称该方法为DBCN-E。

(4)与其他算法对比

PSNR/SSIM
读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network_第10张图片
参数:读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network_第11张图片
时间:
读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network_第12张图片

你可能感兴趣的:(读论文:Single Image Super-Resolution Using Dual- Branch Convolutional Neural Network)