论文阅读《SGNet: Structure Guided Network via Gradient-Frequency Awareness for Depth Map Super-Resolutio》

论文地址：https://arxiv.org/pdf/2312.05799v1.pdf
源码地址：https://github.com/yanzq95/SGNet

---

概述

  深度图的图像引导超分辨率在各个领域有着广泛的应用。但是，复杂的成像环境会导致深度图的结构边缘变得模糊。如图2所示，从梯度图可以看出，它能够很好地表现出图像的结构信息。从频谱图可以看出，高分辨率的深度图和RGB图像都包含了丰富的高频和低频信息，而低分辨率的深度图则丢失了高频信息。
  基于这些观察，本文关注于利用梯度域和频域来进行深度图的超分辨率。在梯度域中，使用梯度校准模块（GCM）来提取梯度特征的结构表达信息。首先将RGB图像和低分辨率（LR）深度图映射到梯度域得到梯度图，然后基于RGB的梯度特征来校正和锐化LR的结构，使其更接近高分辨率（HR）深度图的结构。此外，还引入了一个梯度感知的损失函数，来进一步增强结构，通过缩小GCM的中间特征和HR的梯度特征之间的距离。在频域中，使用频域的特性来传播RGB的高频分量，即RGB的细节和边缘信息。FAM递归地进行多个频谱差分块（SDB），每个SDB都将RGB和LR映射到相同的频域，即计算它们的频谱特征