图像超分辨LapSRN：Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution论文笔记

图像超分辨LapSRN：Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution论文笔记

---

简介

• 作者使用的超分辨结构，是拉普拉斯金字塔，每一级的金字塔都以粗糙分辨率的特征图为输入，用解卷积来升采样得到更精细的特征图。另外，网络的训练使用了robust Charbonnier loss function，这个损失函数可以获得更好的超分辨效果。
• LapSRN的最大优点是，一个模型就可以实现多级超分辨，例如一个*8的模型同时也可以实现*2和*4的超分辨任务，这主要也是得益于金字塔结构。

模型

• 网络结构如上图所示。LapSRN分成两个部分：特征提取和图像重建。特征提取中，每一级有d个卷积层，再跟随一个2倍的解卷积提升分辨率，之后和同样用解卷积提升分辨率的LR图像相加，得到更精细的SR。网络学习的就是其中的残差。
• 我们的最终目标是从输入x构建出靠近真实HR: Y 的超分辨图像。假设在s级金字塔的残差图像为 rs ，升采样过后的图像为 xs ，对应的HR图像为 ys=rs+xs 。将HR用双三次插值降采样到对应的金字塔等级： Ys ，构建的损失函数为：
  L(Y,y;θ)
  =1N∑Ni=1∑Ls=1ρ(Y(i)s−y(i)s)
  =1N∑Ni=1∑Ls=1ρ((Y(i)s−x(i)s)−r(i)s)
• 其中 ρ(x)=x2+ϵ2−−−−−−√ 是Charbonnier penalty function（l1范数的变体），N是每个批次的数量，L是金字塔的级数。在这种损失函数下，金字塔每级的输出都会靠近某个尺度下的HR，因此才可以同时实现*2*4*8的超分辨。
• 至于网络的封装，每个卷积核都是3*3*64，解卷积有4*4的核，激活层采用LReLU。对*2*4的模型，每级的卷积层d=10，*8的d=5。

实验结果