超分 Super-Resolution

1、入门

定义：超分即把一个低分辨率低图片恢复为高分辨率低图像

数据来源：把高分辨率的图片通过人工加噪声等方式变成低分辨率。如，matlab bicubic resize下采样（最常用的方式）、高斯模糊、先下采样再上采样，其他unknown 降质方法。

数据例子：https://data.vision.ee.ethz.ch/cvl/DIV2K/

卷积种类：

• 先上采样再恢复
• 先恢复再上采样
• 渐进式等上采样
• 循环式等上采样和下采样

损失函数：一般分为多种损失函数，使用不同等损失函数叠加。

• 基于像素的Pixel Loss 如L2\L1
• 基于内容的Content loss，如利用一个训练好的分类网络，对模型输出的图片和标注图像分别做分类，求loss
• 基于纹理的Texture Loss， 如利用一个训练好的分类网络，对模型输出的图片和标注图像分别提取特征求相似矩阵，再求loss
• 基于对抗性的Adversarial Loss，gan生成的图片psnr不好，但是整体质量很好

评价指标（和IQA一致）：

• 主观评价：利用人眼判断，不方便，不同人看法也不一致
• 客观评价：PSNR、SSIM。PSNR代表像素之间的比较，和整体感觉有出入。

参考：