AI实战训练营&底层视觉与MMEditing

一 图像超分辨率

• 提高图像分辨率
• 高分图像符合低分图像的内容
• 恢复图像的细节、产生真实的内容 （双线性或双立方插值不能恢复图像的高频细节）
• 超分辨率相关的研究在1984年首次发表 ，而超分辨率这个术语在1990年被首次提出

应用

• 节约传输高清图像的带宽
  

单图超分的解决思路

1. 基于已知数据学习高低分辨率图像之间的关系：先验知识
2. 在符合先验知识的条件下恢复高清图像

SRCNN

首个基于深度学习的超分辨率算法，证明了深度学习在底层视觉的可行性，模型仅由三层卷积层构成，可以端到端学习，不需要额外的前后处理步骤。
SRCNN首先使用双三次(bicubic)插值将低分辨率图像放大成目标尺寸，接着通过三层卷积网络拟合非线性映射，最后输出高分辨率图像结果。本文中，作者将三层卷积的结构解释成三个步骤：图像块的提取和特征表示，特征非线性映射和最终的重建。
从稀疏编码得来的，并表述为之前所述的三个步骤如下:

• Patch extraction: 提取图像Patch，进行卷积提取特征，类似于稀疏编码中的将图像patch映射到低分辨率字典中
• Non-linear mapping: 将低分辨率的特征映射为高分辨率特征，类似于字典学习中的找到图像patch对应的高分辨字典
• Reconstruction：根据高分辨率特征进行图像重建。类似于字典学习中的根据高分辨率字典进行图像重建

FSRCNN

FSRCNN在SRCNN的基础上针对速度进行了改进：

1. 不实用插值，直接在低分辨率图像上完成卷积运算，降低运算量
2. 使用1X1的卷积层对特征图通道进行压缩，进一步降低卷积的运算量
3. 若干卷积层后再通过转置卷积提高图像分辨率
   FSRCNN是一种快速的图像超分辨率卷积神经网络，它是在SRCNN的基础上进行了改进，主要有以下几个方面：

• FSRCNN取消了对低分辨率图像的插值放大操作，而是直接输入网络，并在网络输出处使用可学习的去卷积层进行放大和重建。这样可以减少计算量和参数量，提高速度和质量。
• FSRCNN在特征映射阶段使用了压缩-扩展的结构，即先用1x1的卷积核将特征图的通道数降低，然后用多层3x3的卷积核进行非线性映射，最后用1x1的卷积核将特征图的通道数恢复。这样可以增加网络深度和非线性，同时减少参数量和计算量。
• FSRCNN使用了PReLU作为激活函数，可以避免ReLU的梯度消失问题，提高模型性能。
• FSRCNN提出了一种迁移学习的策略，可以在预训练好的一个缩放因子的模型基础上，通过微调去卷积层来快速得到另一个缩放因子的模型。
• FSRCNN在不同的测试集上都取得了比SRCNN更好的结果，同时速度也有显著提升。

二 图像超分损失函数

图像超分辨的损失函数是用来评估重建图像和真实图像之间的差异，指导模型优化的一个重要指标。不同的损失函数可能会导致模型在峰值信噪比（PSNR）和感知质量方面有不同的表现。

常见的图像超分辨的损失函数有以下几种：

• 均方误差（MSE）损失函数，是最简单也最常用的一种损失函数，它直接计算重建图像和真实图像之间的像素级差异，然后求平均。MSE损失函数可以使模型达到较高的PSNR，但是往往会导致重建图像过于平滑和模糊，缺乏高频细节和边缘信息。
• 感知损失函数，是一种基于高层特征的损失函数，它利用预训练好的分类网络（如VGG）来提取重建图像和真实图像的特征表示，然后计算特征之间的距离。感知损失函数可以使模型生成更加清晰和自然的重建图像，但是可能会牺牲一些PSNR。
• 对抗损失函数，是一种基于生成对抗网络（GAN）的损失函数，它利用一个判别器网络来区分重建图像和真实图像，然后计算重建图像被判别为真实图像的概率。对抗损失函数可以使模型生成更加逼真和锐利的重建图像，但是可能会引入一些伪影和噪声。
• 边缘损失函数，是一种基于边缘信息的损失函数，它利用一些边缘检测算法（如Sobel）来提取重建图像和真实图像的边缘特征，然后计算边缘之间的差异。边缘损失函数可以使模型更好地恢复重建图像的边缘细节，提高锐度和清晰度。
• 傅里叶空间损失函数，是一种基于频域信息的损失函数，它利用傅里叶变换将重建图像和真实图像从空域转换到频域，然后计算频域之间的距离。傅里叶空间损失函数可以使模型更好地匹配目标频率分布，提高感知质量和视觉效果。
  不同的损失函数有不同的优缺点和适用场景，在实际应用中，可以根据需求选择合适的损失函数或者将多种损失函数进行组合。