AI实战训练营(Class 10)底层视觉与MMEditing

AI实战训练营(Class 10)底层视觉与MMEditing

    • 图像超分辨率
      • 图像超分辨率目标
    • 基于卷积网络的模型 SRCNN 和 FSRCNN
      • SRCNN
        • SRCNN 的单个卷积层有明确的物理意义:
      • FSRCNN
    • 损失函数
      • 均方误差
      • 感知损失
    • 对抗生成网络 GAN 简介
      • 图像数据在高维空间中的分布

图像超分辨率

图像超分辨率目标

  • 提高图像的分辨率
  • 提高图像符合低分辨率内容
  • 恢复图像的细节、产生真实的内容

基于卷积网络的模型 SRCNN 和 FSRCNN

SRCNN

  • SRCNN 时首个基于深度学习的超分辨率算法,证明了深度学习在底层视觉的可行性
  • 模型仅由三层卷积层构成,可以端到端学习,不需要额外的前后处理步骤

AI实战训练营(Class 10)底层视觉与MMEditing_第1张图片

SRCNN 的单个卷积层有明确的物理意义:

  • 第一层:提取图像块的低层次局部特征
  • 第二层:对低层次局部特征进行非线性变换,得到高层次特征
  • 第三层:组合邻域内的高层次特征,恢复高清图像

AI实战训练营(Class 10)底层视觉与MMEditing_第2张图片

FSRCNN

FSRCNN 在 SRCNN 的基础上针对速度进行了改进“

    1. 不使用插值,直接在低分辨率图像上完成卷积运算,降低运算量
    1. 使用 1×1 的卷积核对特征图通道进行压缩,进一步降低卷积的运算量
    1. 若干卷积层后再通过专职卷积提高图像分辨率

AI实战训练营(Class 10)底层视觉与MMEditing_第3张图片

损失函数

均方误差

AI实战训练营(Class 10)底层视觉与MMEditing_第4张图片

感知损失

AI实战训练营(Class 10)底层视觉与MMEditing_第5张图片

对抗生成网络 GAN 简介

对抗生成网络是一种基于神经网络的无监督学习模型,可以建模数据分布,并通过采样生成新数据
AI实战训练营(Class 10)底层视觉与MMEditing_第6张图片

图像数据在高维空间中的分布

  • 图像是高维空间中的数据点,但由于真是图像中的像素值不能取值任意,这些数据点不会充满整个高维空间,进分布在一个相对低维的结构上
  • 可以通过数学函数,将数据映射到低维空间上,也可以从低维空间逆映射回高位空间
  • 映射函数 G 可以由神经网络构成,其参数可以基于数据学习出来

AI实战训练营(Class 10)底层视觉与MMEditing_第7张图片

你可能感兴趣的:(MMLab实战训练营,人工智能,深度学习,计算机视觉)