图像超分辨率:发散-收敛网路D2C-SR: A Divergence to Convergence Approach for Real-World Image Super-Resolution

文章目录

  • D2C-SR: A Divergence to Convergence Approach for Real-World Image Super-Resolution
    • 1.论文目的
    • 2.网络结构
      • 2.1 divergence阶段的损失函数
      • 2.2 convergence 阶段的损失函数
    • 3. 示例图

D2C-SR: A Divergence to Convergence Approach for Real-World Image Super-Resolution

1.论文目的

该论文引入一个从发散到收敛的网络,具体来说,首先训练4个网络分支,然后再融合为一个。

图像超分辨率:发散-收敛网路D2C-SR: A Divergence to Convergence Approach for Real-World Image Super-Resolution_第1张图片

2.网络结构

网络结构比较清晰,如下图,Basic branch 一些 conv residual block, divergence阶段分别得到4个预测。
convergence阶段 通过weight map 进行像素级的fusion.

图像超分辨率:发散-收敛网路D2C-SR: A Divergence to Convergence Approach for Real-World Image Super-Resolution_第2张图片

2.1 divergence阶段的损失函数

一个是重建损失L2, 每个分支单独的各自的损失。

在这里插入图片描述

一个是三元组损失,目的是 $I_{d}^i $ 与 I H R I_{HR} IHR 更接近,$I_{d}^i $ 之间更远
为了是损失更关注纹理细节,而不是颜色,亮度,因此首先转换为 Y 空间,再规范化

在这里插入图片描述

再计算残差

在这里插入图片描述

然后对 残差建立 三元组损失, 使 $I_{d}^i $ 与 I H R I_{HR} IHR 残差 比 $I_{d}^i $ 与 $I_{d}^j $ 更接近

在这里插入图片描述

其中trip

在这里插入图片描述

devergence阶段的总体损失

在这里插入图片描述

2.2 convergence 阶段的损失函数

收敛阶段就是如总体框架图所示,首先预测 weight map,然后通过weight map进行融合

在这里插入图片描述

损失函数使融合后的图像与 gt的L2 范数

在这里插入图片描述

3. 示例图

图像超分辨率:发散-收敛网路D2C-SR: A Divergence to Convergence Approach for Real-World Image Super-Resolution_第3张图片

总结,创新点主要就是分别训练多个网络,然后再对各个网络的结果进行fusion. 效果为什么会好? 也许信息融合更多,也许网络模块更多,skip较多。

图像超分辨率:发散-收敛网路D2C-SR: A Divergence to Convergence Approach for Real-World Image Super-Resolution_第4张图片

你可能感兴趣的:(图像处理算法,人工智能,深度学习)