AI实战训练营&底层视觉与MMEditing

AI实战训练营&底层视觉与MMEditing

  • 一 图像超分辨率
    • 应用
    • 单图超分的解决思路
    • SRCNN
    • FSRCNN
  • 二 图像超分损失函数

一 图像超分辨率

  • 提高图像分辨率
  • 高分图像符合低分图像的内容
  • 恢复图像的细节、产生真实的内容 (双线性或双立方插值不能恢复图像的高频细节
  • 超分辨率相关的研究在1984年首次发表 ,而超分辨率这个术语在1990年被首次提出

应用

  • 节约传输高清图像的带宽

单图超分的解决思路

  1. 基于已知数据学习高低分辨率图像之间的关系:先验知识
  2. 在符合先验知识的条件下恢复高清图像

SRCNN

首个基于深度学习的超分辨率算法,证明了深度学习在底层视觉的可行性,模型仅由三层卷积层构成,可以端到端学习,不需要额外的前后处理步骤。AI实战训练营&底层视觉与MMEditing_第1张图片
SRCNN首先使用双三次(bicubic)插值将低分辨率图像放大成目标尺寸,接着通过三层卷积网络拟合非线性映射,最后输出高分辨率图像结果。本文中,作者将三层卷积的结构解释成三个步骤:图像块的提取和特征表示,特征非线性映射和最终的重建。
从稀疏编码得来的,并表述为之前所述的三个步骤如下:

  • Patch extraction: 提取图像Patch,进行卷积提取特征,类似于稀疏编码中的将图像patch映射到低分辨率字典中
  • Non-linear mapping: 将低分辨率的特征映射为高分辨率特征,类似于字典学习中的找到图像patch对应的高分辨字典
  • Reconstruction:根据高分辨率特征进行图像重建。类似于字典学习中的根据高分辨率字典进行图像重建

FSRCNN

FSRCNN在SRCNN的基础上针对速度进行了改进:

  1. 不实用插值,直接在低分辨率图像上完成卷积运算,降低运算量
  2. 使用1X1的卷积层对特征图通道进行压缩,进一步降低卷积的运算量
  3. 若干卷积层后再通过转置卷积提高图像分辨率
    FSRCNN是一种快速的图像超分辨率卷积神经网络,它是在SRCNN的基础上进行了改进,主要有以下几个方面:
  • FSRCNN取消了对低分辨率图像的插值放大操作,而是直接输入网络,并在网络输出处使用可学习的去卷积层进行放大和重建。这样可以减少计算量和参数量,提高速度和质量。
  • FSRCNN在特征映射阶段使用了压缩-扩展的结构,即先用1x1的卷积核将特征图的通道数降低,然后用多层3x3的卷积核进行非线性映射,最后用1x1的卷积核将特征图的通道数恢复。这样可以增加网络深度和非线性,同时减少参数量和计算量。
  • FSRCNN使用了PReLU作为激活函数,可以避免ReLU的梯度消失问题,提高模型性能。
  • FSRCNN提出了一种迁移学习的策略,可以在预训练好的一个缩放因子的模型基础上,通过微调去卷积层来快速得到另一个缩放因子的模型。
  • FSRCNN在不同的测试集上都取得了比SRCNN更好的结果,同时速度也有显著提升。

二 图像超分损失函数


图像超分辨的损失函数是用来评估重建图像和真实图像之间的差异,指导模型优化的一个重要指标。不同的损失函数可能会导致模型在峰值信噪比(PSNR)和感知质量方面有不同的表现。

常见的图像超分辨的损失函数有以下几种:

  • 均方误差(MSE)损失函数,是最简单也最常用的一种损失函数,它直接计算重建图像和真实图像之间的像素级差异,然后求平均。MSE损失函数可以使模型达到较高的PSNR,但是往往会导致重建图像过于平滑和模糊,缺乏高频细节和边缘信息。
  • 感知损失函数,是一种基于高层特征的损失函数,它利用预训练好的分类网络(如VGG)来提取重建图像和真实图像的特征表示,然后计算特征之间的距离。感知损失函数可以使模型生成更加清晰和自然的重建图像,但是可能会牺牲一些PSNR。
  • 对抗损失函数,是一种基于生成对抗网络(GAN)的损失函数,它利用一个判别器网络来区分重建图像和真实图像,然后计算重建图像被判别为真实图像的概率。对抗损失函数可以使模型生成更加逼真和锐利的重建图像,但是可能会引入一些伪影和噪声。
  • 边缘损失函数,是一种基于边缘信息的损失函数,它利用一些边缘检测算法(如Sobel)来提取重建图像和真实图像的边缘特征,然后计算边缘之间的差异。边缘损失函数可以使模型更好地恢复重建图像的边缘细节,提高锐度和清晰度。
  • 傅里叶空间损失函数,是一种基于频域信息的损失函数,它利用傅里叶变换将重建图像和真实图像从空域转换到频域,然后计算频域之间的距离。傅里叶空间损失函数可以使模型更好地匹配目标频率分布,提高感知质量和视觉效果。
    不同的损失函数有不同的优缺点和适用场景,在实际应用中,可以根据需求选择合适的损失函数或者将多种损失函数进行组合。

你可能感兴趣的:(MMLab实战训练营,人工智能,计算机视觉,深度学习)