AI实战训练营（Class 10）底层视觉与MMEditing

图像超分辨率

图像超分辨率目标

• 提高图像的分辨率
• 提高图像符合低分辨率内容
• 恢复图像的细节、产生真实的内容
  

基于卷积网络的模型 SRCNN 和 FSRCNN

SRCNN

• SRCNN 时首个基于深度学习的超分辨率算法，证明了深度学习在底层视觉的可行性
• 模型仅由三层卷积层构成，可以端到端学习，不需要额外的前后处理步骤

SRCNN 的单个卷积层有明确的物理意义：

• 第一层：提取图像块的低层次局部特征
• 第二层：对低层次局部特征进行非线性变换，得到高层次特征
• 第三层：组合邻域内的高层次特征，恢复高清图像

FSRCNN

FSRCNN 在 SRCNN 的基础上针对速度进行了改进“

• 1. 不使用插值，直接在低分辨率图像上完成卷积运算，降低运算量
• 2. 使用 1×1 的卷积核对特征图通道进行压缩，进一步降低卷积的运算量
• 3. 若干卷积层后再通过专职卷积提高图像分辨率

损失函数

均方误差

感知损失

对抗生成网络 GAN 简介

对抗生成网络是一种基于神经网络的无监督学习模型，可以建模数据分布，并通过采样生成新数据

图像数据在高维空间中的分布

• 图像是高维空间中的数据点，但由于真是图像中的像素值不能取值任意，这些数据点不会充满整个高维空间，进分布在一个相对低维的结构上
• 可以通过数学函数，将数据映射到低维空间上，也可以从低维空间逆映射回高位空间
• 映射函数 G 可以由神经网络构成，其参数可以基于数据学习出来