From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数

问题:合成训练数据和真实世界测试图像之间的域转移通常会导致现有方法的退化
方法:我们提出了一种与未标记的真实数据协作的新型图像去雾框架
贡献
• 我们提出了一个图像去雾框架,以利用解开的特征表示和未标记的真实世界模糊图像来增强单图像去雾。
• 我们设计了一个解纠缠图像去雾网络(DID-Net),通过从粗到细的策略来预测传输图、潜在无雾图像和大气光照图。
• 使用解纠缠一致性均值教师网络 (DMTNet) 来协作标记的合成数据和未标记的真实数据,并具有解纠缠的一致性损失。

损失函数:
• 监督损失:ground truth与StudentDID差值
• 一致性损失:为了拟合真实雾图和合成雾图在网络上的差异

数据集:
SOTS测试:1000个
训练:indoor 3000个 outdoor3000个
hazeRD测试:15个
haze4K取自NYU-Depth,indoor500个,outdoor500个
测试:indoor 125个 outdoor 125个
训练:750个

我们首先在公共基准数据集上测试每种图像去雾方法,即 SOTS [33],它由 1,000 个测试图像组成
我们按照现有的工作 [33] 设置具有 6,000 个合成图像的关联训练集,其中包括来自 RESIDE 数据集 [19] 的室内训练集 (ITS) 的 3,000 个和来自室外训练集 (OTS) 的 3,000 个
其次,引入包含 15 个具有更真实雾度的室外图像的 HazeRD [44] 进行测试
除了 SOTS 和 HazeRD,我们还创建了一个包含 4,000 个模糊图像的合成数据集(表示为 Haze4K),其中每个模糊图像都有一个潜在的干净图像、一个透射图和一个大气光照图的相关基本事实。
具体来说,我们通过从 NYU-Depth [34] 中随机选择 500 张室内图像和从 OTS [19] 中随机选择 500 张室外图像,收集了 1,000 张干净的图像。
其中,随机从室内图像集(125张)和室外图像集(125张)中随机选取250幅图像作为测试集,其余750幅图像作为训练集。之后,对于每张干净的图像,我们按照 [43] 随机采样四个参数设置,即大气光照条件 A ∈ [0.5, 1] 和散射系数 β ∈ [0.5, 2],生成透射图和大气光照图,然后用于通过方程式中的物理模型获得相应的模糊图像。 (1)。因此,Haze4K 有 4,000 个模糊图像,3,000 个训练图像和 1,000 个测试图像。

From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第1张图片From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第2张图片

摘要:
From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第3张图片
From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第4张图片
From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第5张图片From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第6张图片From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第7张图片在这里插入图片描述
From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第8张图片From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第9张图片在这里插入图片描述From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第10张图片From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第11张图片From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第12张图片From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第13张图片From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第14张图片培训和测试策略From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第15张图片From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第16张图片
From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data从合成到真实:图像去杂化使用未标记的真实数_第17张图片

你可能感兴趣的:(计算机视觉,深度学习,机器学习)