2017 CVPR Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution论文阅读笔记

论文不难，写出来也方便自己复习

问题 Problem

快速单张图像超分辨率的任务 Single image super-resolution

现有方法的问题和动机（Existing methods problems && Motivations）

1. 计算复杂：使用预定义的上采样操作对原图像进行处理后作为卷积神经网络的输入，比如双线性插值或者双三次插值等；由于输入的图像尺寸已经等于HR图像的尺寸，增加了后续处理中不必要的冗余计算量；
2. 损失函数：现有的方法大都使用L2范数损失函数，不可避免产生模糊；因为L2范数无法获得HR图像patch潜在的多模态信息（LR图像块和HR图像块具备高度的一致性）
3. 上采样操作：现有的方法仅仅使用一种上采样操作实现超分辨率，增加了网络学习高拉伸因子（8X）的难度。

本文思路

1. 提出级联卷积神经网络实现拉普拉斯金字塔超分辨率网络，以coarse-to-fine 的方式逐步预测各个不同自段的高频残差信息；
2. 使用可学习的反卷积层实现上采样；
3. 使用robust Charbonnier loss function

现有的超分辨率工作

just focus on example-based methods

基于内部数据（结构自相似性）

利用图像的结构自相似性，也就是图像内部的不同图像块或者结构之间具备高度的一致性；
内部数据的结构自相似性比外部数据的匹配度或者相似度更高，但是内部数据包含的图像纹理块的种类较少

基于外部数据

通过小样本数据从外部学习映射关系，方法包括such as nearest neighbor, manifold embedding, kernel ridge regression, and sparse representation等等

卷积神经网络的方法

大概也就是分为如下图所示的结构类型，博主总结如下：

1. 先采用上采样操作获得HR图像同分辨率大小的图像，然后使用卷积神经网络学习HR图像；
2. 由于卷积较大尺寸的图像增大了计算复杂度，因此，先对小分辨率图像提取特征，最后实现上采样操作；
3. 和图像去噪思路类似，以上采样的结果未输入的网络其实类似于去噪操作，因此学习网络残差可以降低网络的学习难度
4. 为了增加网络的特征表达能力，引入循环网络
   

方法

网络结构

网络结构如图(e)所示，包含特征提取和图像重建两个分支

特征提取

图像重建

损失函数

‘未完待续。。。’