读论文：Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

1 介绍

广泛接受的一种观点是Veit等人提出的“拆散”观点。n个残差块的顺序连接被视为对应于其隐式$2^n$条路径的许多子网的集合。
(a)一个含有三个模块$f_1$，$f_2$，$f_3$残差块的网络，有$2^3$=8从输入到输出的隐式路径，例如：$f_1$→$f_2$→$f_3$，$f_1$→$f_2$，$f_1$→$f_3$，$f_2$→$f_3$，$f_1$，$f_2$，$f_3$和1.
(b)用$f$和$g$表示配对操作，最基本的结构是将（$f_i$,$g_i$）视为一个单位模块，在这种连接方式下，$f_i$和$g_i$始终对可能路径中的任何$i$配对。
(d)在本文中，我们考虑的“双重残差连接”。这种样式可以为任何$i$和$j$配对$f_i$和$g_j$，从而使$i$≤$j$匹配。 在图(d)的示例中，（$f_1$,$g_1$），（$f_2$,$g_2$），（$f_3$,$g_3$），（$f_1$,$g_2$），（$f_1$,$g_3$）和 （$f_2$,$g_3$），出现在可能的路径中。我们推测{$f_i$}和{$g_j$}之间潜在的交互作用数量的增加将有助于提高图像恢复任务的性能。
（d）可以确保$f$和$g$在可能的路径中始终配对，而（c）结构不能做到。 我们称该模块为实现提议的双残差连接为Dual Residual Block(DuRB)。

2 相关工作

1.高斯噪声去除
Mao等人提出了REDNet，它由多个卷积和反卷积层组成，并在它们上面有对称的跳过连接。Tai等提出了具有局部存储块和全局密集连接的MemNet，表明其性能优于REDNet。 然而，Suganuma等]表明，带有重复大小对的卷积核的
标准卷积自动编码器的性能要好得多，这是通过基于进化计算的体系结构搜索发现的。
2.运动模糊去除
这个任务有很长的研究历史。 早期的工作试图同时估计模糊核和清晰图像。 最近，基于CNN的方法可以很好地完成此任务。 Nah等提出了一种从粗到精的方法以及改进的残差块。 Kupyn等提出了一种基于生成对抗网络（GAN）的方法还创建了新的数据集。
3.阴霾去除
许多研究都采用以下雾度模型：$I(x)=J(x)t(x)+A(x)(1-t(x))$，其中$I$表示朦胧的场景图像，$J$是真实的场景辐射度 （清晰的图像），$t$是传输图，$A$是全球大气光。 然后，任务是根据输入$I(x)$估算$A$，$t$，从而估算$J(x)$。 最近，张等人提出了一种使用CNN联合估计$t$和$A$的方法，该方法在很大程度上优于以前的方法。Ren等人和Li等提出了直接估计$J(x)$而不明确估计$t$和$A$的方法。 Yang等人提出了一种将CNN集成到经典的基于先验的方法的方法。
4.雨滴检测和清除
在文献中已经提出了各种方法来解决这个问题。 Kurihata等提出用通过PCA学习的雨滴模板来检测雨滴。 Ramensh提出了一种基于K-Means聚类和中值滤波的方法来估计清晰图像。 最近，Qian等提出了一种混合网络，该网络由用于定位雨滴的卷积LSTM和用于生成清晰图像的CNN组成，并在GAN框架中进行了训练。
5.去除雨水条纹
Fu等使用“引导图像过滤” 提取图像的高频分量，并用其训练CNN以去除雨水条纹。Zhang提出联合估算降雨密度和除雨效果，以缓解降雨密度不均匀的问题。 Li等认为暴雨图像是由多个雨条纹叠加而成的清晰图像，并提出了一种基于RNN的方法来恢复清晰图像。 Li等提出了针对该任务的DenseBlock 的非本地增强版本，其网络性能大大优于以前的方法。

3 双残差块（DuRB）

4 五种图像恢复任务

1.噪声去除

（a）加性高斯噪声消除
（b）现实世界中的噪音消除

2.运动模糊去除

3.阴霾去除

4.雨滴清除

5.暴雨去除

5 总结与讨论

我们提出了一种残差连接方式，称为“双重残差连接”，旨在利用成对操作的潜力来进行图像恢复任务。 我们已经展示了实现这种连接方式的模块化块（DuRB）的设计，该模块具有用于配对操作的两个容器，以便用户可以向其插入任意操作。 我们还显示了块中两个操作的选择以及整个网络（DuRN），其中包含用于五种不同图像恢复任务的块堆栈。 使用9个数据集获得的实验结果表明，该方法始终比以前的方法效果更好。