Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration（cvpr2019）

双残差网络利用配对操作的潜力进行图像恢复

摘要

本文研究了用于图像复原任务的深度神经网络的设计。我们提出了一种新颖的残差连接方式，称为“双残差连接”，它利用了对偶运算的潜力，例如上下采样或与大小内核卷积。我们设计了一个实现这种连接风格的模块块;它配备了两个容器，其中插入任意成对的操作。采用Veit等人提出的残差网络的分解观点，我们指出，所提出的模块块的一种奇怪之处允许块中的第一个操作与任何后续块中的第二个操作交互。通过在每个堆叠块中指定这两个操作，我们为每个单独的图像恢复任务构建了一个完整的网络。我们使用9个数据集对5个图像恢复任务进行了实验评估。结果表明，在几乎所有的任务和数据集上，采用适当选择匹配操作的网络性能都优于已有方法。

1 介绍

从退化图像中恢复原始图像的任务，即图像恢复，一直是图像处理和计算机视觉领或的研究热点。:与计算机视觉的许多其他任务- -样，深度卷积网络的使用也取得了显著进展。在本研究中，为了进一步的改进，我们追求更好的网络架构设计，特别是能够在不同的图像恢复任务之间共享的设计。在本研究中，我们注意到成对操作在各种图像处理任务中的有效性。在([1]中，我们发现一个CNN迭代地执行-对上采样和下采样有助于提高图像超分辨率的性能。在[39]中， 作者采用进化计算的方法来寻找一种更好的反卷积设计方法，显示了网络结构使用大小内核反复执行一对卷积（卷积核大小为3，1，3，1，5，3，1）在降噪方面表现良好。在本文中，我们将展示其他图像恢复任务的进一步示例。假设这种重复配对操作的有效性，我们希望在深层网络中实现它们，以挖掘它们的潜力。我们特别感兴趣的是如何将它们与剩余网络的结构整合起来。剩余网络的基本结构如图所示：

每个块作为一个计算单元工作，可以以最小的性能损失附加/分离到/从主网络。考虑到剩余网络的这种性质，如何将残差网络和配对操作（paired operation）结合起来呢？在本文中，我们考虑如下所示的另一种连接样式，我们称为双残差连接（Dual Residual Connection）：

其中f和g为配对的操作，这种样式允许对任意i和j进行fi和gj配对，其中i≤j。

2 相关工作

3 双残差块

提出了四种DuRB（双残差块），其中c是卷积核大小为3*3的卷积层，DuRB-p两个container中的配对操作ct1l和ct2l是两个卷积操作；DuRB-U第一个container中的操作是上采样之后进行卷积，第二个container中是卷积操作；DuRB-s第一个container中的操作是卷积操作，第二个container中是se-resnet加上卷积操作，其中SE是参考之前的一篇论文中的se-resnet结构；DuRB-U第一个container中的操作是上采样之后进行卷积，第二个container中是se-resnet加上卷积操作；

图一 ：左上角为有双残差连接的block结构;
T_1^?和T_2?是两个成对操作的container，l表示网络中第l个DuRB，c表示卷积层。

4 五个图像恢复任务

Se-resnet实现channel-wise-attention: 基于channel-wise的attention机制就可以被视为是一个根据上下文语义选取相关语义特征的过程。比如图中的例子，当我想预测cake这个单词时，channel-wise attention就会给含有蛋糕、火焰、灯光和蜡烛形状物体的feature map分配更大的权重。

4.1 去噪

这个网络包括输入模块、6个DuRB-p和输出模块，c为卷积层，b+r为BN层和ReLu线性激活函数，Tanh为双曲正切函数，其中DuRB-P中的卷积层卷积核size大小是按照一定的比率增大的。初始大小3*3，整个网络使用l2 loss来训练：


图三 ：用于去噪的DuRN-P网络

图四 ：处理结果对比
在BSD200-grayscale数据集上进行加性高斯噪声去除（噪声水平为(30,50,70) ）的结果，PSNR/SSIM：

在实际噪声图像数据集（ Real-World Noisy Image Dataset ）上的结果（最后一行显示每个CNN的参数数量）：

4.2 去运动模糊

参考之前的论文，作者这里采取的配对操作是上、下采样。这里也是6个这样的block。作者在GoPro-test 数据集上进行测试，然后在处理之后的图片中进行目标检测，并和当前最好的结果进行比对。

图五 ：用于去运动模糊的DuRN-U网络
用于GoPro-test数据集的运动模糊去除结果：

本文提出方法DuRN-U与当前效果最好方法DeBlurGAN在Car数据集上对去模糊图像进行目标检测的准确性对比：

图六 ：与state-of-the-art处理结果对比

图七 与state-of-the-art目标检测结果对比

4.3 去雾

在Dehaze-TestA数据集和RESIDE-SOTS数据集上去雾的结果：

4.4 雨滴删除

该任务可以自然地分为两个阶段，识别雨滴区域和恢复识别区域的像素。主要问题在于第一阶段。这个网络前一部分用了当前最好的方法attentive-net得到了一张包含雨滴信息的attention map，这个attention map被喂给下一部分来估计ground-truth，这里会将生成的图片和ground truth进行对抗训练，像gan网络一样。
我们采用SSIM和l1损失的加权和来训练DuRN-S-P。

RainDrop 数据集上的定量结果比较：

4.5 雨线删除(rain-streak)

在两个降水数据集DDN-Data和DID-MDN Data上去除雨线的结果：

总结

这篇文章：
1）提出了一种新颖的连接方式——双残差连接(DuRB)；
2）设计了一种模式化的block，每个block中有两个container，用户可在在两个container中插入任意的配对操作，例如上、下采样，通过改变container中操作类型以及block的数目，可以设计出不同的网络来完成不同的图像恢复任务。
本篇文章中介绍了4种block，分别在9个数据集上完成了去噪（高斯噪声和真实世界的噪声）、去运动模糊、去雾、去雨滴、去雨线5种图像恢复任务，并为每个任务构建了一个完整的网络。