《Designing and Training of A Dual CNN for Image Denoising》阅读笔记

一、论文

《Designing and Training of A Dual CNN for Image Denoising》

摘要：摘要—用于图像去噪的深度卷积神经网络（CNN）最近吸引了越来越多的研究兴趣。 但是，普通网络无法恢复复杂任务的精细细节，例如真实的噪点图像。 在本文中，我们提出了双重降噪网络（DudeNet）以恢复干净的图像。 具体来说，DudeNet由四个模块组成：特征提取模块，增强模块，压缩模块和重建模块。 具有稀疏机制的特征提取模块通过两个子网提取全局和局部特征。 增强模块收集并融合了全局和局部功能，以为后者提供补充信息。 压缩块优化提取的信息并压缩网络。 最后，重建块被用于重建去噪图像。  DudeNet具有以下优点：（1）具有解析机制的双网络可以提取互补特征，以增强去噪器的通用能力。  （2）融合全局和局部特征可以提取显着特征，以恢复复杂噪点图像的精细细节。  （3）使用小型滤波器来降低去噪器的复杂度。 大量的实验证明了DudeNet优于现有的当前最先进的降噪方法。

总结：在本文中，我们提出了一种新颖的DudeNet用于图像去噪。  DudeNet使用双重网络提取各种特征，以增强学习特征的去噪能力。  DudeNet的稀疏机制可以通过提取全局特征和局部特征以融合它们以获得显着特征来恢复复杂的噪点图像的精细细节，从而帮助实现良好的降噪性能，从而提高处理速度。 我们还提出使用压缩块来减少冗余信息，从而减少计算成本和内存消耗。 大量实验证明DudeNet具有很高的视觉质量和计算效率。 将来，我们打算扩展DudeNet，以处理多种低级视觉任务，包括图像超分辨率和去模糊。

二、网络结构

 EB1具有三个部分：融合部分，BN和ReLU。首先，融合部分通过连接操作整合来自不同网络（第一和第二网络）的两种不同类型的特征[36]。 已知通过第一网络中的扩张卷积获得的特征与第二网络中的CB1获得的特征是不同的，这导致获得的特征在EB1中的分布具有很大的差异。 因此，BN用于消除不良影响。 最后，利用ReLU将获得的线性特征转换为非线性特征。

EB2在CB2和CB3之间起作用，将DudeNet的输入与CB2的输出连接起来，并产生重要的信息。

尺寸为64×1×1×64的CB1放置在FEB的FEBnet2的第16层中，尺寸为128×1×1×c的CB2放置在EB1和EB2之间，尺寸为2c×1×1的CB3  ×c，其中c为通道大小，位于EB2和RB之间。 此外，CB1，CB2和CB3通过1×1卷积实现，这可以减小它们的尺寸并提高DudeNet的效率，因为已知1×1卷积可以压缩数据。

三、训练数据及实验结果

我们的训练数据分为两个部分：合成图像和真实噪声图像。 尺寸为180×180的合成噪点图像包括灰度和彩色图像。 要创建此训练集，我们为合成噪声数据选择相同的400张图像[6]。 我们使用以下两种方法[39]来增强合成噪声图像的训练数据。  （1）应用下缩放因子为0.7、0.8、0.9和1的双三次插值来扩展训练数据集。  （2）应用以下八种操作来增加训练样本的多样性：无操作（即原始图像），逆时针旋转90°，逆时针旋转180°，逆时针旋转270°，水平翻转，逆时针旋转90° 然后水平翻转，逆时针旋转180°，然后水平翻转，然后逆时针旋转270°，然后水平翻转。为了使训练后的模型更加健壮，每次操作只能一次应用于一个图像，并且每个图像在一个时期内使用四次。

对于真实的噪点图像，我们使用512×512大小的100张JPEG压缩图像[40]作为训练数据，这些数据是使用五种不同的数字设备收集的：佳能80D，尼康D800，佳能600D，索尼A7 II和佳能5D Mark  II具有不同参数的传感器（即800、1,600、3,200、6,400、12,800和25,600）。 由于这些真实的噪点图像被压缩，因此它们对图像降噪提出了更大的挑战。

 

四、代码

https://github.com/hellloxiaotian/DudeNet   现在代码只公布了结果。具体将再学习。