深度学习超分辨开山之作SRCNN

论文：Learning a Deep Convolutional Network for Image Super-Resolution
代码：项目主页

作为将深度学习应用于超分辨的开山之作，论文的思路来源于前人的基于稀疏编码的单帧超分辨重建算法。作者设计了一个3层的CNN，以逐像素损失为代价函数。感觉没有什么特别的技巧，取得了state of art的效果。

网络结构

SRCNN

• 预测过程：首先将图像插值一定的倍数作为输入图像，然后通过网络，输出结果。
• 训练过程：对高分辨率图像随机选取一些patch，然后进行降采样，然后进行升采样，以此作为输入，并以原始高分辨率图像作为目标，采用逐像素损失为优化目标。

滤波器的大小分别为：3 x 9 x 9 x 64, 64 x 1 x 1 x 35, 35 x 5 x 5 x 1。
整个卷积的过程不改变特征图的大小，让人简直不敢相信的就取得了state of art的效果。

设计思路

作者这个思路是从稀疏编码得来的，并把上述过程分别表述为：Patch extraction, Non-linear mapping, Reconstruction。

• Patch extraction: 提取图像Patch，进行卷积提取特征，类似于稀疏编码中的将图像patch映射到低分辨率字典中
• Non-linear mapping: 将低分辨率的特征映射为高分辨率特征，类似于字典学习中的找到图像patch对应的高分辨字典
• Reconstruction：根据高分辨率特征进行图像重建。类似于字典学习中的根据高分辨率字典进行图像重建