去噪深度卷积网络实战扩展（三）——DnCNN网络实战讲解

在近几年深度学习领域，有一类去噪神经网络非常出名，这就是DnCNN网络。英文是：Feed-forward denoising convolutional neural networks (DnCNNs)。

这个网络强调了residual learning（残差学习）和batch normalization（批量标准化）在信号复原中相辅相成的作用，可以在较深的网络的条件下，依然能带来快的收敛和好的性能。这个算法可以解决处理未知噪声水平的高斯去噪、超分辨率、JPEG去锁等多个领域的问题。

一、算法来源和介绍

哈尔滨工大的张凯教授，在2016年发表的《Beyond a Gaussian Denoiser Residual Learning of Deep CNN for Image Denoising》论文中，首次论述DnCNN网络的原理。

这张图就清晰的说明了整个的主要结构。主要包括了：

第1层Conv + ReLU：输入为35x35xc的图像，经过64个3x3x3的卷积核卷积，输出为64张35x35的特征图，即35x35x64的图像。（因为加了padding，所以大小没有变）。

第（2~(d-1)）层Conv + BN + ReLU：，有64个3x3x64的卷积核，所以这些层的输入输出都为35x35x64的图像。在卷积和激活函数间添加批量归一化。

最后一层Conv：通过c个3x3x64的卷积核，重建c维图像，作为输出。

每一层都zero padding，使得每一层的输入、输出尺寸保持一致。以此防止产生人工边界（boundary artifacts）。

二、主要原理介绍

1.主要原理

DnCNN结合了ResNet的residual learning，即残差学习。不同的是DnCNN并未在神经网络层之间增加连接，而是将网络学习过程中的输出直接改为残差。

DnCNN的残差是什么意思呢？假设干净图片为x，含噪声图片为y，那有y=x+n，这里的n就是残差，也就是噪声。在DnCNN的学习过程中，优化的目标不再是干净图片与网络输出之间的误差（loss），而是残差与网络输出之间的误差。

就这么一个改变会带来哪些好处呢？

第一：在特定的噪声水平下训练比最先进的方法如BM3D，WNNM和TNRD有更好的高斯去噪效果。

第二：对于盲高斯去噪，比为特定噪声水平训练的BM3D和TNRD表现的更好。

第三：当被延伸到一些一般的图像去噪任务时，也能获得很好的结果。

第四：一个DnCNN模型对于三个一般图像去噪任务的高效性，即高斯去噪，有着多重升级因子的SISR和有着不同质量因子的JPEG去块问题。

2. 网络深度

DnCNN有个特点就是网络深度较大。作者参考《Very deep convolutional networks for large-scale image recognition》的标准，将DnCNN的卷积核大小设置为3 * 3，并且去掉了所有的池化层。

作者处理高斯去噪的DnCNN的深度为17，通用去噪任务的DnCNN的深度为20。到底需要多深的网络，这和感受野有关。作者为了和补丁大小为36x36的EPLL作比较，选择了和它差不多的感受野，35x35。因此，对应的网络深度即为17（(2x17+1)x(2x17+1)）。

这么深的网络结构，处理起来其实是比较慢的。所以读者可以自己在性能和效果之间折中选择网络的深度。

3. 批量归一化（BN）

DnCNN有比较深的网络训练，怎么保证训练过程中稳定和快速就非常重要。这里用到了批量归一化层。归一化处理的原理就是归一化至：均值0、方差为1。

BN的主要作用包括了：

1）改善流经网络的梯度

2）允许更大的学习率，大幅提高训练速度：

3）减少对初始化的强烈依赖

4）改善正则化策略：作为正则化的一种形式，轻微减少了对dropout的需求

简单说，就是提高了训练的速度，增强了学习的能力。

三、程序分析

说了这么多，到底程序是啥样子的呢？张凯教授很慷慨，公布了源程序，包括了matlab版和python版本的。

matlab版本的网络结构是这样的：

python版本是这样的：

python版本比matlab版本要简洁很多，但训练网络的速度却比matlab慢很多。

为了测试DnCNN在地震去噪处理的效果如何，我使用前面课程的训练数据，自己写了一个程序。

经过CPU训练了近1个小时后，最后测试结果是这样的。似乎效果并不太好，这也需要以后进一步优化。

好了，以上就是今天的课程。相信你掌握了DnCNN后，去噪研究能力又上了一个台阶。如果你想获取代码，或有问题讨论，都欢迎联系我交流。下节课再见。