深度学习图像去噪综述

原文：Deep Learning on Image Denoising: An Overview
论文链接 相关代码

1 背景与动机

数字图像设备已经被应用在天气预测、灾难救援、安全监控与医学诊病等多个领域。然而数字设备常受到相机抖动、运动的物体、暗光和噪声等影响而导致捕获的照片不干净。因此图像去噪技术的研究具有重要的理论和实际应用价值。也就是说去噪后的数据有助于进一步的图像任务（图像分类、目标识别等）。

图像去噪技术在20世纪90年代已经成为研究热点。例如：用非局部相似性来优化稀疏方法能提高去噪的性能。字典学习有助于快速移除噪声。先验知识通过平滑噪声图像来恢复潜在干净图像的细节。更多竞争去噪方法包括MRF 、WNNM 、LSSC、CSF 、TNRD和GHEP能被利用。

虽然这些大部分方法在图像去噪上能达到好的性能，但是他们有以下缺点：(1) 在测试阶段涉及复杂优化方法,(2) 手动设置参数, (3) 一个固定的模型来处理单个去噪任务。拥有灵活的结构，强的自学习能力的深度学习技术能用来解决这些不足。

2 深度学习在图像去噪中的应用

深度学习技术在图像去噪上应用包括外加白噪声图像去噪、真实噪声图像去噪、盲去噪和混合噪声图像去噪的深度学习技术。

2.1 外加白噪声去噪（additive white noisy-image denoising）

首先说一下什么是additive white noisy images（AWNIs），可以理解为噪声图像是由高斯、泊松、盐、胡椒、乘法等操作生成的。
对于外加白噪声的去噪可以分为三类：

1. CNN/NN for AWNI denoising
2. CNN/NN and common feature extraction methods for AWNI denoising
3. Combination of the optimization method and CNN/NN for AWNI denoising

2.1.1 CNN/NN for AWNI denoising

外加白噪声去噪的方法总结如下表：

对于上述方法来说，设计出不同的网络结构是进行图像去噪的关键，设计网络结构有以下方式：

1. 利用多视角来设计网络；包括三种类型：一幅噪声图像作为多个子网络的输入；一个样本的不同角度作为网络的输入；一个网络的不同通道作为输入。
2. 改变Loss函数；
3. 增加CNN的宽度或者深度；
4. 在CNN中增加任意的插件；任意插件包括激活函数、空洞卷积、全连接层和池化层等
5. 在CNN中使用跳跃连接 (Skip connection)或者级联操作（Cascaded operations）；包括skip connection和cascaded operation。

2.1.2 CNN/NN and common feature extraction methods for AWNI denoising

在图像处理中，特征提取用于表示整个输入数据，但是深度学习技术是一个黑盒操作，没有办法对特征进行选择，因此不能确保所获得的特征是最好的。基于此，研究者试图将常用的特征提取方法嵌入到神经网络中实现图像去噪。该方法分为5类：

1. weak edge-information noisy images
2. non-linear noisy images
3. high dimensional noisy images
4. non-salient noisy images
5. high computational costs

• 对于weak edge-information noisy images来说，CNN with transformation domain method来移除噪声是非常有效的。

• 对于non-linear noisy images来说，CNN with kernel method在恢复潜在干净图像是非常有效的。
  这类方法一般有三步：第一步用CNN来提取特征，第二步用核方法把非线性特征转为线性特征，第三步利用残差技术来重构潜在的干净图像。

• 对于high dimensional noisy images来说，CNN和降维方法的组合是常用的去噪方法。

• 对于non-salient noisy images来说，信号处理方法能引导CNN来提取显著的特征。

• 对于high computational cost， CNN和图像的属性结合能有效地降低复杂度。

2.1.3 Combination of optimization method and CNN/NN for AWNI denoising

首先，optimization method 需要手动设置参数，而且非常耗时；其次，discriminative learning method对低级视觉任务不够灵活。为了平衡效率和灵活性，试图将两种方法进行融合，可以分为两类：

1. improvement of denoising speed
2. improvement of denoising performance

也就是一类提高去噪速度，一类提高去噪性能。

1、提高去噪速度
将优化方法嵌入到CNN网络是寻找最优解的不错工具。此外，把噪声映射和噪声图像作为CNN的输入也能提高预测噪声的速度。
2、提高去噪性能
将CNN和先验知识进行结合可以有效移除噪声。

2.2 真实噪声图像去噪（real noisy-image denoising）

对于真实噪声图像去噪的问题，包含单一的end-to-end卷积神经网络和先验知识与CNN组合的两种方式。

2.2.1 single end-to-end CNN

常规的方法是修改神经网络的架构，把Multiscale knowledge、Skip connection、batch renormalization、dilated convolutions、attention mechanism融合到CNN中都能有效处理真实噪声图像。

2.2.2 The combination of prior knowledge and CNN

先验知识包括HQS（half quadratic splitting）、channel prior knowledge等。

2.3 盲去噪（blind denoising）

利用image device和soft shrinkage和CNN/NN结合能很好地进行blind denoising。

2.4 混合噪声图像去噪

用warped guidance和CNN组合，单一的CNN以及CNN和iterative algorithm组合都能很好地移除混合噪声。

3 实验

3.1 数据集

1. 训练集

• gray-noise (用于训练高斯噪声和盲噪声)
  – BSD400
  – Waterloo Exploration Database
• color-noisy
  – BSD432
  – Waterloo Exploration Database
  – polyU-Real-World-Noisy-Images datasets

2. 测试集

• gray-noise(用于测试高斯噪声和盲噪声)
  – Set12
  – BSD68
• color-noisy
  – CBSD68
  – Kodak24
  – McMaster
  – cc
  – DND
  – NC12
  – SIDD
  – Nam

4 讨论

深度学习一般在图像去噪上都是提高图像性能、去噪效率和复杂的噪声图像。

4.1 提高去噪性能，有如下解决方法

• 增大网络的感受野能捕获更多上下文信息来提高去噪性能。其中，增加网络宽度和深度是增加感受野最常见的方式，然而，他们会导致高的计算代价和更多内存消耗。空洞卷积能有效解决这个问题。
• CNN和先验结合能提取出更鲁棒的特征。
• 组合局部和全局的信息能提高网络的记忆能力。
• 把信号处理机制融合到CNN能更好遏制噪声。
• 数据增加能提高图像去噪性能。
• 迁移学习、图学习和网络搜索能很好处理噪声图像。

4.2 提高去噪效率

压缩网络能有效地提高去噪的速度。减少网络宽度和深度、利用小的卷积核、组卷积都能有效地提高去噪速度。

4.3 解决复杂的噪声图像

利用分布机制是非常流行的。第一步利用CNN来估计噪声级别作为ground truth或者恢复高分辨率图像。第二步用来恢复潜在干净图像。

4.4 挑战

• 更深的网络需要占用更多内存。
• 更深的去噪网络不能稳定地训练真实噪声图像、没有类标的噪声图像的模型。
• 真实噪声图像不是容易获得的。
• 更深的网络是困难来解决无监督去噪任务。
• 寻找更精确的去噪衡量指标。