LapSRN阅读笔记

这是一篇2017年的SR文章。

零、摘要

拉普拉斯金字塔SR网络（LapSRN）可以逐步重建高分辨率图像的子带残差（？）。在每个金字塔等级，我们的模型将粗分辨率特征图作为输入，预测高频残差，并使用反卷积进行上采样。不用双三次插值预处理，大大减少计算复杂性。采用了最新的Charbonnier代价函数来进行深度监督，并且去的了很好的效果。并且本网络最后在一次前馈中便生成了多尺度的预测，也就促进了对资源的感知应用。

一、介绍

目前的SR算法主要有三个问题：一是很多算法在预处理中会采用插值方法来将图像放大到预定尺寸，这会导致人为噪点并且增加了不必要的计算损失，一些算法通过在LR图象上添加卷积层或者反卷积层来用亚像素卷积层来取代预定义的上采样操作器。这些方法使用的是小网络并且无法学习太复杂的映射。二是现存的方法大多数使用MSE来计算损失，由于L2损失没有抓住HR图像潜在的的多模态分布，因此重建的HR图像通常过于平滑并且和人类的感知不太相同。三是大多数方法重塑HR图像时只使用了一个上采样步骤。这也增加了训练8×以上倍数模型的难度。

不同点：

1.准确度。LapSRN直接从LR图像提取特征图，用深的卷积层优化上采样过滤器并预测子带残差。

2.速度。和FSRCNN差不多，实现了实时重建

3.逐级（？）的重建。在一次前馈中便生成了多重中间SR预测

二、与现存基于CNN的SR方法的不同：

1.同时使用卷积层和反卷积层学习残差和上采样过滤器。 

2.使用Charbonnier代价函数

3.相同的模型通过将model截断到不同水平，可以用于不同的尺寸放大因子

与LAPGAN的不同：

1.LapSRN是一种超分辨率模型，使用Char代价函数;  LAPGAN使用交叉熵损失函数，使用交叉熵代价函数

2.和LAPGAN不同，在LAPSRN的每个级别的卷积层通过多通道反卷积层链接.高等级的残差图像由共享低级别特征的深层网络预测。

3.LAPGAN在上采样图像中应用卷积层，所以速度取决于HR图像的大小。相反的是LAPSRN提升了感受野的大小并且通过从LR空间中直接提取特征完成了加速。

三、拉普拉斯金字塔网络结构

1.特征提取的特点：

在s级，特征提取层由d个卷积层和一个可以将提取到的特征2×上采样的反卷积层组成。每个反卷积层的输出连接到：（1）一个可以重建s级残差图像的卷积层（2）一个s+1级用于特征提取的卷积层。