具有对称跳跃连接的深卷积编解码网络的图像去噪 读书笔记（上）

转载请注明出处，谢谢。

论文：Image Denoising Using Very Deep Fully Convolutional Encoder-Decoder Networks with Symmetric Skip Connections

                                             作者： Xiao-Jiao Mao, Chunhua Shen, Yu-Bin Yang

一、简介——文章主要贡献

1.文中提出了一种very deep图像去噪网络结构，该网络由对称的卷积层和反卷积层组成，卷积层作为特征提取器，在消除噪声的同时编码图像内容的主要成分，反卷积层解码图像抽象内容以恢复图像内容的细节。提出的框架是第首次在图像去噪中同时使用卷积和反卷积。

2.为了更好地训练深层网络，文中提出在对应的卷积层和非卷积层之间增加跳跃连接（skip connections），这些捷径（即skip connections）将网络分成几个块，这些跳跃连接有助于向后传播梯度到底层，并将图像细节传递到顶层。这两个特点使得从噪声图像到干净图像的端到端映射训练更容易、更有效，从而在网络深入的同时实现了性能的提高。

3.文中对常用的基准图像进行了实验，结果表明了论文提出的网络在图像去噪方面具有优势。

二、相关工作

sda:Stacked denoising auto-encoder是最著名的用于图像去噪的深层神经网络模型之一，无监督预训练，一次只对一层进行重构误差最小化，一旦对所有层都进行了预训练，网络就进入微调阶段。

利用神经网络进行去噪的优点是，它们直接从数据中学习去噪参数，即端到端学习，对自然图像不作任何假设。

论文方法：Our network is a skip connection based encoding-decoding framework, in which both convolution and deconvolution are used for image denoising。

三、Very deep RED-Net for image denoising

RED-Net ——  Residual Encoder Decoder Networks.

3.1 网络结构

该网络包含对称的卷积(编码器)和反卷积(解码器)层，每隔几层(实验中，2层)有跳跃连接从卷积特征映射到它们镜像的反卷积特征映射。跳跃连接将网络分成几个块，每块大小为4块，即2层卷积层和2层反卷积层。来自卷积层的响应直接传播到相应的镜像反卷积层，无论前向还是后向传播（反卷积层直接传播到卷积层）。结构中没有使用池化层，因为通常池化层会丢失掉对去噪和其他图像恢复任务至关重要的图像细节。

在每个卷积和反卷积后增加校正层(Rectification layers)，在vgg模型的启发下，将卷积和反卷积的核大小设为3×3。

反卷积层的输出是输入噪声图像的干净版本。

值得一提的是因为卷积层和反卷积层是对称的，所以输出的图片大小可以是任意的。

论文提出了两种网络，分别为20层和30层。下表描述了这两种网络的具体配置。

“conv3”和“deconv3”代表3×3的卷积和反卷积核。128、256和512是每次卷积和反卷积后的特征映射数。c是输入和输出图像的通道数。在本工作中，我们对灰度图像进行测试，即c=1。

3.1.1 反卷积解码器（Deconvolution decoder）

在卷积层中，滤波器窗口内的多个输入激活函数被融合以输出单个激活，而反卷积层则是单个输入激活函数和多个输出激活函数。

全卷积网络与论文中提出的网络（只有卷积和反卷积的网络）的区别是：

1.在全卷积网络中，噪声是一步一步去除的，即在经过每一层后，噪声都会有所减少。但是图像细节也会大量减少。

2.在论文提出的网络中，卷积保留了图像的原始内容，然后用反卷积对图像细节进行补偿。

为此，论文使用5层全卷积网络和10层全卷机网络与自己提出的网络（只有卷积和反卷积，没有跳跃连接）进行对比。对于全卷积网络，文中对输入进行padding和up-sample以使得输入和输出的大小相同。对于论文中的网络，前5层是卷积层，后5层是反卷积层。其余的训练参数，两个网络的设置是一样的，即用SGD训练，学习速率为10^−6，噪声水平σ=70，卷积核3*3，步长为3。

实验结果：

对验证集的峰值信噪比(PSNR)，结果表明，使用反卷积比完全卷积的方法工作得更好。

3.1.2 跳跃连接（Skip connections）

skip connections have element-wise correspondence。

论文在每隔两个对应的卷积层和反卷积层之间添加跳跃连接，跳跃连接主要改善两个问题：

1.当网络很深的时候，反卷积无法完成图像细节的恢复。

2.反向传播梯度消失问题。

（也会加快收敛速度）

⊕表示特征映射的按元素相加之后。（瞎翻译，原句：⊕ denotes element-wise sum of feature maps）

跳跃连接将卷积特征映射的信息传递给相应的反卷积层中。

论文提出不直接学习从输入x到输出y的映射，而是希望网络去适应问题的剩余，表示为f(X)=y−x。（原句：we would like the network to fit the residual of the problem, which is denoted as F(X) = Y - X.）

3.2 讨论（略）

3.3 训练

学习从噪声图像到干净图像的端到端映射，需要估计由卷积和反卷积核表示的权重θ。

使用caffe框架来实现和训练网络。

使用Xavier策略初始化滤波器的权重。

使用学习速率为10^-4(所有层的学习率一样)的ADAM训练(比传统的随机梯度下降(SGD)更快)。

使用灰度图像进行试验，训练集：300 images from the Berkeley Segmentation Dataset (BSD)。对于每张图片，将不重叠的50*50的块采样为ground truth。使用较小的块会导致较差的性能，这可能是因为它不足以很好地表示较少像素的噪声分布。对于每个块，对其添加高斯噪声作为噪声图像（每个块多次使用，添加不同的噪声，生成不一样的噪声图像），最终训练集大小为0.5M。对于不同的噪声水平，形成不同的训练数据来训练相应的模型。

继续点击： 具有对称跳跃连接的深卷积编解码网络的图像去噪 读书笔记（下）https://blog.csdn.net/csdn_misli/article/details/82289409