全卷积神经网络图像去噪研究-含Matlab代码

✳️ 一、引言

图像去噪在底层视觉中的重要性可以从多方面体现出来。首先，噪声在图像获取过程中是不可避免的，它会严重降低获取图像的视觉质量。在各种图像处理和计算机视觉任务中，从观测到的图像中去除噪声是必不可少的步骤。其次，从贝叶斯的角度来说，图像去噪是评价图像先验模型和优化方法的理想应用。最后，在基于变量分离技术的推理中，许多图像复原问题可以通过依次求解一系列去噪子问题来解决，这进一步拓宽了图像去噪的应用领域。

一般来说，图像去噪方法可以分为两大类：基于模型的方法和基于判别学习的方法。基于模型的方法，如 BM3D和 WNNM虽然可以灵活地处理不同噪声水平的去噪问题，但也存在一些缺点，例如，它们的优化算法通常非常耗时并且不能直接用于去除噪声水平空间不均匀的噪声。此外，基于模型的方法通常使用手工设计的图像先验 (如稀疏性先验和非局部自相似性先验)，然而这些先验不足以刻画复杂的清晰图像结构。

作为一种替代方法，判别去噪方法旨在从大量的退化和真值图像对数据中学习图像的先验和快速推理。此种方法主要包含两类。一类是在基于最大后验(MAP) 推理引导的判别学习。另一类同时也是比较流行的方法是一般的判别学习，如 MLP和基于卷积神经网络 (CNN) 的方法。

✳️ 二、网络结构

图1给出了提出的去噪网络结构。第一层是一个可逆的下采样算子，它可以将噪声图像y转换为四个下采样的子图像。进一步将可调节的噪声水平图 M 与下采样的子图像并联起来，构成一个大小为 $\frac{W}{2}\times \frac{H}{2}\times (4C+1)$的张量 $\tilde{y}$作为 CNN 的输入。对于噪声水平为 σ 的空间不变的AWGN， M 是一个所有元素都是 σ 的矩阵。以张量 $\tilde{y}$作为输入，接下来的 CNN 由一系列 3 × 3卷积层组成。每一层由以下三种不同的操作组成：卷积 (Conv)、修正线性单元 (ReLU) 激活函数和批量归一化(BN)。具体来说，第一个卷积层采用“Conv+ReLU”，中间层采用 “Conv+BN+ReLU”，最后一个卷积层采用 “Conv”。在每次卷积前，使用补零操作来保持卷积后的特征图的大小不变。在最后一个卷积层之后，采用一个上采样操作生成大小为 W×H×C的去噪图像 $\hat{x}$。

图1 去噪网络结构

✳️ 三、实验结果

✳️ 3.1 数据集与网络训练

为了训练网络模型，需要准备训练数据集 。在这里， yi 是通过将 AWGN 添加到清晰图像 xi 中得到的， Mi 是噪声水平图。使用AWGN 生成训练数据集的原因有两个方面。首先，当没有特定的噪声先验信息时， AWGN 是一种自然选择。其次，真实噪声可以近似为局部 AWGN。

通过收集大量的清晰图像数据集，包括 400 张 BSD 图像，400张从ImageNet验证集中选取的图像，以及 Waterloo Exploration Database中的4,744 张图像。在每轮迭代中，从这些图像中随机抽取 N=128×8000个图像块用于训练。图像块的大小应该大于网络模型的感受野，并将其分别设置为70×70和50×50用于灰度图像和彩色图像。将噪声级σ∈[0,75]的 AWGN加入到清晰的图像块，得到有噪声的图像块。对于每个有噪声的图像块，噪声水平图是均匀的。由于FFDNet是一个全卷积神经网络，它继承了局部连通特性，即输出像素由局部噪声输入和局部噪声水平决定。因此，经过训练的FFDNet 通过指定非均匀噪声水平图，自然具有处理空间不均匀噪声的能力。

采用 ADAM 算法通过最小化以下损失函数对网络模型进行优化，

学习率从 ${10}^{-3}$开始，当训练误差停止减少时，学习率降低到 ${10}^{-4}$。最后，当训练误差在五个序列周期内保持不变时，将每个批归一化的参数合并到相邻的卷积滤波器中。然后采用较小的学习率 ${10}^{-6}$来微调网络模型。对于ADAM 的其它超参数，使用它们的默认设置。每批数据的图像块个数设置为 128，训练中也采用了基于旋转和翻转的数据增强。

✳️ 3.2 卷积神经网络去噪实验

为了评估该网络结构在灰度图像去噪中的效果，采用Lena图像，去噪结果如下图所示：此时，它的峰值信噪比为29.6743；结构相似度指数为0.8219。

图2 卷积神经网络图像去噪结果

✳️ 3.3 基于BM3D的对比实验

开展了基于BM3D的对比实验，其去噪结果如下图所示：此时，它的峰值信噪比为28.3358；结构相似度指数为0.7852。

图3 基于BM3D算法的去噪结果

结果表明，上述卷积神经网络去噪效果更优。

✳️ 四、参考文献

[1] Burger H C, Schuler C J, Harmeling S. Image denoising: Can plain neural networks compete with BM3D? [C]. In IEEE Conference on Computer Vision and Pattern Recognition. 2012: 2392–2399.
[2] Jain V, Seung S. Natural image denoising with convolutional networks [C]. In Advances in Neural Information Processing Systems. 2009: 769–776.
[3] Zhang K., W. Zuo, L. Zhang. FFDNet: Toward a Fast and Flexible Solution for CNN-Based Image Denoising[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4608-4622.

✳️ 五、Matlab代码获取

上述实验由Matlab代码实现，代码可私信博主获取。

---

博主简介：研究方向涉及智能图像处理、深度学习等领域，先后发表过多篇SCI论文，在科研方面经验丰富。任何与算法、程序、科研方面的问题，均可私信交流讨论。

---