【论文阅读】Deep Learning for Image Super-resolution: A Survey

从监督学习、半监督学习、特殊的领域的超分辨进行分析,分析了基于深度学习的超分辨的问题,包括问题设置、基准数据集的选取、评价指标、主要的SR应用领域。介绍了每个方法的局限性。
问题和未来发展趋势:

  1. 良好的网络设计不仅确定了具有较大性能上界的假设空间,而且有助于在没有过多空间和计算冗余的情况下有效地学习表示。下面我们将介绍一些有前景的网络改进方向。
    解决方法:1.局部信息和全局信息结合2.低级信息和高级信息结合,比如说语义的 3.加注意力机制 4.保持性能的同时减小模型规模,提高预测速度,测试每一张照片的时间不能过大 5.如何进行上采样。
  2. 这些损失函数往往是加权组合的,对于SR的最佳损失函数仍然不清楚。因此,最有希望的方向之一是探索这些图像之间的潜在相关性,寻求更准确的损失函数。学习其他归一化技术。PSNR过度平滑。处理各种退化。真实世界的图像往往会出现模糊、附加噪声和压缩伪影等退化现象。因此,在人工生成的数据集上训练的模型在真实场景中往往表现不佳。
    但这些方法存在固有的缺陷,如训练难度大,假设过完美等。这个问题迫切需要解决。

早期的时候的图像是在y通道上比较不好,在RGB上比较好
【论文阅读】Deep Learning for Image Super-resolution: A Survey_第1张图片
a:预定义的上采样经常引入副作用(例如,噪声放大和模糊),而且由于大多数操作是在高维空间中执行的,时间和空间成本比其他框架[43]要高得多
b:一方面,上采样只进行了一步,大大增加了大尺度因子(如4,8)的学习难度。另一方面,每个尺度因子都需要训练一个单个SR模型不能满足多尺度SR需求。
c:该框架下的模型通过将困难任务分解为简单任务,极大地降低了学习难度,特别是在大因素的情况下,同时在不引入过多的空间和时间代价的情况下解决了多尺度SR问题。此外,还可以直接结合课程学习(3.4.3节)和多督导(3.4.4节)等具体的学习策略,进一步降低学习难度,提高最终成绩。但这些模型也存在着多阶段模型设计复杂、训练稳定性差等问题,需要更多的建模指导和更高级的训练策略。
d:反投影模块的设计标准尚不明确。由于该机制刚刚被引入到基于深度学习的SR中,因此该框架具有巨大的潜力,需要进一步探索。
【论文阅读】Deep Learning for Image Super-resolution: A Survey_第2张图片
a:

你可能感兴趣的:(【论文阅读】Deep Learning for Image Super-resolution: A Survey)