SRCNN---深度学习图像超分辨的开山之作一文的主要思想

这篇论文是深度学习应用于图像超分辨的开山之作,个人认为很有必要阅读,因为它是传统超分辨算法与深度学习超分辨算法之间的一个过渡,描述了他们之间的变迁过程,即如何提出基于深度学习的超分辨算法的。

该篇论文的网络结构的提出是基于稀疏编码的超分辨算法而来。通过类比基于稀疏编码的超分辨算法的各个处理过程,即下图1所示的三个过程:Patch extraction and representation,Non-linear mapping,Reconstruction,提出了同样包含着这三个过程的卷积神经网络SRCNN,如下图2所示。文章还分析了SRCNN与传统的基于稀疏编码的超分辨算法存在的优势------计算效率更高,超分辨效果更好。
SRCNN---深度学习图像超分辨的开山之作一文的主要思想_第1张图片
图1
基于稀疏编码的超分辨算法大致过程如下:
首先,对输入的低分辨率图像进行图像块提取,并将每一个图像块用所学到的低分辨率字典表示,这样就可以得到多个系数向量,然后再将这些系数向量再用一个学得的高分辨率字典表示(在稀疏编码方法中,通常这两个字典的大小是一样的),得到相应的高分辨率块的表示,最后组合这些高分率图像块,对于重叠的部分采用取平均的策略(个人理解是重叠部分的对应位置像素之间取平均),最后输出超分辨图像结果。(这部分纯属个人理解,本人对稀疏编码了解的比较少,如果有不当之处,还请阅读的人能够之处,分享您对此的理解,我将不胜感激)

SRCNN的网络结构如下:
SRCNN---深度学习图像超分辨的开山之作一文的主要思想_第2张图片
图2
每一层的具体作用描述如下:
Patch extraction and representation
该层的结构参数设置如下:
卷积核的大小:99,卷积核的个数:64,即最后会输出64维的特征图,单个卷积核的维数:1(因为是对单通道—Y通道图像进行超分辨)。
’这一层的主要作用是提取低分辨率图像的特征。
Non-linear mapping
结构参数设置:
卷积核的大小:1
1,卷积核的个数:32,单个卷积核的维数:64。
该层的主要作用是进行非线性映射,将低分辨率图像的特征映射为高分辨率图像的特征,并进行降维操作(将特征图的维度从64降到32)。
Reconstruction
架构参数设置:
卷积核大小:5*5,卷积核的个数:1(因为是对单通道—Y通道图像进行超分辨),单个卷积核的维数:32。
这一层就是最终超分辨图像的输出层。

你可能感兴趣的:(SRCNN---深度学习图像超分辨的开山之作一文的主要思想)