【图像超分辨】DRCN

DRCN

  • 网络结构
  • 实验结果
  • 参考博客

SRCNN的层数较少,同时感受野也较小(13x13)。DRCN (Deeply-Recursive Convolutional Network for Image Super-Resolution, CVPR 2016)提出使用更多的卷积层增加网络感受野(41x41),同时为了避免过多网络参数,该文章提出使用递归神经网络(RNN)。

网络结构

对于图像复原问题的操作问题,深度学习处理的时候时不使用pooling层。如果增加网络的深度,将增加更多的参数,则会导致两个问题:一是容易过拟合,二是模型过大,难以存储和重现。因此使用递归神经网络,然而由于梯度消失/爆炸导致不易收敛。因此提出了两种解决方法:一是每层的递归层都是监督式的;二是类似于残差网络,采用skip connection 结构。具体的结构图如下图所示:

【图像超分辨】DRCN_第1张图片
主要分为三个部分,第一部分是Embedding network,相当于SRCNN中的特征提取,二是Inference network,相当于特征的非线性变换,第三个是Reconstruction network,即特征图重建。其中的Inference network是一个递归网络,即数据循环地通过该层多次。将这个循环进行展开,就等效于使用同一组参数的多个串联的卷积层,如下图所示:
【图像超分辨】DRCN_第2张图片
其中的H_1到H_D是D个共享参数的卷积层。DRCN将每一层的卷积结果都通过同一个Reconstruction Net得到一个重建结果,从而共得到D个重建结果,再把它们加权平均得到最终的输出。另外,受到ResNet的启发,DRCN通过skip connection将输入图像与H_d的输出相加后再作为Reconstruction Net的输入,相当于使Inference Net去学习高分辨率图像与低分辨率图像的差,即恢复图像的高频部分。最终的目标函数是一个多目标优化问题。除了每一个递归层的监督产生的误差还有最终效果的误差。
【图像超分辨】DRCN_第3张图片
【图像超分辨】DRCN_第4张图片

实验结果

【图像超分辨】DRCN_第5张图片

参考博客

深度学习在图像超分辨率重建中的应用
DRCN超分辨重建

你可能感兴趣的:(超分辨SR)