【OpenMMLab AI实战营第二期】底层视觉

底层视觉

图像超分辨率

概念

图像超分辨率：根据从低分辨率图像重构高分辨率图像

目标

• 提高图像的分辨率

• 高分图像符合低分图像的内容

• 恢复图像的细节、产生真实内容

应用

• 经典游戏高清重制

• 动画高清重制

• 照片修复

• 节约传输高清图像的带宽

• 民生领域

类型

• 多图超分
• 单图超分

解决思路：

1. 给予已知数据学习高低分辨率图像之间的关系
2. 在符合先验知识的条件下恢复高清图像

目标：内容更真实，细节更丰富

经典方法

稀疏编码：
通过无监督学习方法：构建一组“基图像块” ，使得图像中的任意一块区域可以由少数基图像块线性组合而成

缺点：
即便已经学习出字典，对低分辨率图像块进行系数分解，得到系数仍然是一个相对复杂的优化问题

深度学习时代的超分辨率算法

基于卷积网络和普通损失函数

使用卷积神经网络，端到端从低分辨率图像恢复高分辨率图像
代表算法：SRCNN与FSRCNN

使用生成对抗网络
采用生成对抗网络的策略，鼓励产生细节更为真实的高分辨率图像
代表算法：SRGAN与ESRGAN

SRCNN

SRCNN是首个基于深度学习的超分辨率算法，证明了深度学习在底层视觉的可行性。
模型仅由三层卷积层构成组成，可以端到端学习，不需要额外的前后处理步骤

SRCNN的单个卷积层有明确的物理意义
第一层：提取图像块的低层次局部特征
第二层：对低层次局部特征进行非线性变换，得到高层次特征
第三层：组合领域内的高层次特征，恢复高清图像

Fast SRCNN

FSRCNN在SRCNN的基础上针对速度进行两个改进

1. 不适用差值，直接在低分辨率图像上完成卷积运算，降低运算量
2. 使用1*1的卷积层对特征图通道进行压缩，进一步降低卷积的运算量
3. 若干卷积层后再通过转置卷积层提高图像分辨率