【文章阅读】【超解像】--Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections

【文章阅读】【超解像】–Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections

RED-Net：Residual Encoder-Decoder Networks

论文链接：https://arxiv.org/abs/1606.08921

参考code: https://github.com/SSinyu/RED_CNN

1. 主要贡献

• 提出了卷积反卷积对称网络结构；
• 卷积和反卷积利用跳层结构相连；
• 提出的卷积反卷积架构可用于多任务，如image denoising,image super-resolution,JPEG deblocking, non-blind image deblurring image inpainting.

2. 论文分析

​ 网络整体结构：

​ 局部模块结构：

• 卷积反卷积网络结构

  卷积：特征提取，随卷积进行，图像特征被提取，同时噪声的效果被降低，经过多层卷积后，图像的特征被提取出来，也降低了噪声的影响。

  反卷积：针对特征的上采样，完成由图像特征到图像的转换，由于利用的是过滤后的噪声后的图像特征，因此达到了降噪、图像修复的目的。

  文中通过实验说明利用反卷积结构而不用padding 和upsampling的原因，如下图，反卷积对图像细节有补偿作用。
  

• 跳层结构（skip connections）

  作用：

  ​ 1）保留更多的图像细节，协助反卷积层完成图像的恢复工作；

  ​ 2）反向传播过程中的梯度反向，减少梯度消失，加快模型训练，文章有一些公式推导说明跳层连接对梯度变化的好处，详见论文；

  利用图像修复实验说明跳层作用：
  
  多层结构中跳层能减少梯度消失，如下图：
  
  ​ 该跳层结构受何大神提出的Resnet激发，比较了该文提出的跳层结构和Resnet的跳层比较，本文提出效果较优：
  

• 提升测试效率

  为提升模型的运行速度，本文中提出在卷积层使用降采样，在反卷积层利用升采样恢复图像大小。利用实验比较了在不同卷积层降采样对最终性能的影响。

  实验条件：图像大小160*240 , i7-2600CPU

  降采样位置	运行时间(s)
  no down-sample	3.17
  down-sample at conv1	0.84
  down-sample at conv5	1.43
  down-sample at conv5	2.0
  down-sample at conv5,9	1.17

  结果比较：
  
  结论：在conv1处降采样，处理速度提升4倍，性能降低了0.1，根据具体应用进行trade-off

• 实验参数

  损失函数:MSE
  $$L(\Theta )=\frac{1}{N}\sum _{i=0}^N\Vert F(X^i;\Theta )-Y^i{\Vert }_F^2$$
  (a) filter number:

  滤波器大小为3x3,patch大小为50x50,跳层层数为2，不同的滤波个数，32,64,128，结果如下：
  
  (b) filter size

  滤波器个数为64,patch大小为50x50,跳层层数为2，不同的滤波器大小为，3x3,5x5,7x7,9x9，结果如下：
  
  © training patch size

  滤波器个数为64,滤波器大小为3x3 ,跳层层数为2，不同的patch size，25x25, 50x50,75x75,100x100结果如下：
  
  (d) step size pf skip connections

  滤波器个数为64,滤波器大小为3x3 ,跳层层数为2,4,7，不同的patch size为50x50结果如下：
  
  结论：滤波器个数越多，大小越大，训练图像越大，跳层越少性能越好；

3. 结果分析

文章中进行了图像去噪、超解像、JPEG deblocking、Non-blind deblurring、图像修复实验，列举一下超解像相关结果：

与VDSR和DRCN进行了比较：

说明：

​ RED10：5层卷积，5层反卷积，无跳层

​ RED20:10卷积层，10反卷积层，跳层层距为2

​ RED30:15卷积层，15反卷积层，跳层层距为2

4.参考

https://blog.csdn.net/happyday_d/article/details/83715440

https://blog.csdn.net/wangkun1340378/article/details/78394673

https://blog.csdn.net/mzpmzk/article/details/54314864

论文个人理解，如有问题，烦请指正，谢谢！