【论文学习】UPHDR-GAN: Generative Adversarial Network forHigh Dynamic Range Imaging with Unpaired Data

摘要

本文提出了一种有效融合多曝光输入的方法，利用未配对数据集生成高质量的高动态范围(HDR)图像。基于深度学习的HDR图像生成方法严重依赖成对数据集，地面真实图像在生成合理的HDR图像中起着主导作用，没有地面真实值的数据集很难用于训练深度神经网络。最近，生成对抗网络(GAN)已经展示了在没有配对实例的情况下将图像从源域X转换到目标域Y的潜力。本文，提出了一个基于gan的网络来解决这些问题，同时生成令人愉快的HDR结果，命名为UPHDR-GAN。该方法放松了成对数据集的约束，学习了从LDR域到HDR域的映射关系。虽然配对数据丢失，但通过改进的GAN丢失、改进的鉴别器网络和有用的初始化阶段，UPHDR-GAN可以正确处理由移动物体或不对准引起的重影伪影。该方法保留了重要区域的细节，提高了图像的整体感知质量。与代表性方法的定性和定量比较表明了所提出的UPHDR-GAN的优越性。

introduction

为了提高融合性能，对输入图像对齐（秩最小化检测hdr生成异常点；Sampson距离估计单应矩阵对输入图像对齐）。当图像未完全正确对齐可能造成鬼影模糊。提出基于patch生成完全注册（registered）的图像堆栈，处理饱和区域并避免伪影。基于patch的方法缺乏鲁棒性，对于复杂的场景不能产生满意的结果。引入基于学习的方法来模拟融合过程（基于流的预处理来对齐输入；将对齐过程嵌入到网络中；提出注意引导网络处理未对准和饱和；基于gan的方法引入对抗损失，创建真实的信息来改善不满意的区域）。基于深度学习的融合方法严重依赖成对输入和地面真实图像。

为了放松数据集的约束，本文提出一种基于gan的融合方法，使用非配对数据集优化网络，命名为UPHDR-GAN。首先，引入初始化阶段来维护参考图像和输出之间的内容信息。初始化阶段完全避免了重影，因为它只是将参考图像转移到HDR域。其次，改进了常见的对抗损失，生成具有尖锐边缘的图像。第三，在融合曝光不足和过曝图像的信息时，采用min-patch训练模块对重影伪影进行检测和处理。UPHDR-GAN通过平衡HDR转换和内容保存来正确处理动态对象。

主要贡献

提出了一种基于gan的多曝光HDR融合网络，该网络放松了成对训练数据的约束，学习了输入域和目标域之间的映射关系。据我们所知，这项工作是第一个基于gan的非配对HDR重建方法。

•提出的方法不仅可以在不配对的数据集上训练，而且可以生成具有更少鬼影伪影的HDR结果。我们利用改进的GAN损耗、初始化阶段和最小补丁训练模块来避免重影，提高图像质量。

proposed method

网络框图

UPHDR-GAN是一个图像到图像的任务，有三个输入和一个输出，结构如图2：

网络架构的详细层结构如表所示

网络详介

1、输入

​
为了提高效率，我们没有使用全尺寸的图像对模型进行优化，而是从训练图像中以64步的步幅裁剪256 × 256个重叠的patch。编码器包含三个分支，每个分支的输入大小为256×256 × 6，即输入x = {x1, x2, x3}及其映射的HDR图像Hm = {H1, H2, H3}的拼接。Hm通过简单的gamma编码得到:

$$H_i=\frac{x_i^{\gamma }}{t_i}\gamma >1$$

式中xi为输入图像，ti为对应的曝光时间。LDR图像和映射的HDR图像是互补的，前者检测饱和度和未对准，后者促进LDR图像之间的网络收敛。

2、生成器输出

在得到HDR输出Ho后，我们添加一个µ-law[5]后处理来细化生成的HDR图像的范围，因为在色调映射的HDR图像上计算损失函数更有效:

$$T(H_o)=\frac{\log (1+\mu H_o)}{\log (1+\mu )}$$

3、生成器

生成器网络由编码器、剩余块和解码器组成。编码器由三个卷积块E1、E2和E3组成。编码器过程中提取有用的信号，用于后续的残差块，探索高阶特征。两个转置后的卷积块(D1和D2)和卷积层(D3)组成解码器，将特征恢复到输出图像。

4、鉴别器

鉴别器与生成器互补。PatchGAN用于对image patch进行分类，而不是对完整的图像i分类。从生成的HDR图像和真实的HDR图像中裁剪70 × 70个重叠的patch来训练基于patch的鉴别器。然而，在训练过程中，并不是patch中的所有区域都有助于判别器的优化。如果生成器产生的图像具有奇怪的区域和不同于真实图像的区域，特殊的区域可以被认为是不受欢迎的鬼影伪影。多注意最奇怪的部分是必要的。

5、Min-patch Module

在PatchGAN的末尾引入Min-patch训练模块。min-patch训练的实现是在判别器的最终输出中增加一个可选的最小池化层。F表示鉴别器中C5卷积层之后的特征。在训练鉴别器时，使用常规的PatchGAN，用F对网络进行优化。在训练生成器时，在 C5 卷积层之后添加最小池化层。使用最小池化层(Fpool)之后的特性来计算损失。该生成器使用Fpool进行优化。该鉴别器利用普通的PatchGAN进行真伪鉴别，并使用F进行训练。经过 C5 卷积层的特征F的大小是64 × 64。min-patch训练模块采用16 × 16最小pooling，输出大小为4 × 4的特征Fpool来优化生成器。

损失函数

优化方程

由于GAN是一个最小-最大优化系统（最小化G,最大化D），本文提出的UPHDR-GAN优化如下方程，以达到发生器和鉴别器之间的平衡:
$$G^{\ast },D^{\ast }=argminmaxL(G,D)$$

目标函数

基于HDR成像特性，目标函数设计为以下两项:
(1)GAN损耗$L_{GAN}(G,D)$实现所需转换，将多曝光输入转换为HDR输出;
(2) HDR转换过程中保留图像语义信息的内容损失$L_{CON}(G)$。
全损失函数为:
$$L(G,D)=L_{GAN}(G,D)+{\omega }_{CON}{L}_{CON}(G)$$ 其中${\omega }_{CON}$为超参数，控制内容丢失的相对重要性，平衡转换效果和内容保存效果。

GAN Loss:

GAN Loss有助于G在没有ground truth的情况下生成与目标域图像相似的结果，并且使用生成的HDR图像和真实的HDR图像混淆D。然而，vanilla GAN损失不能保留边缘和边界信息。因此，Chen等人提出将D与模糊数据集混淆，将模糊数据集视为伪图像，驱动生成器生成边缘清晰的图像。类似地，我们还添加了一个模糊的HDR数据集，以帮助G生成高质量的输出。

具体来说，对于目标图像{yj}j=1，…，M∈Y，我们利用核大小为5 × 5的高斯滤波器去除它们清晰的边缘，生成模糊数据集{bj}j=1，…，M∈b。我们在图3中展示了模糊数据集的两个例子。生成的图像应避免边缘模糊的特点。选择模糊数据集作为伪图像可以帮助网络产生没有模糊边缘的图像。也就是说，鉴别器需要对G(x)、b和y三类图像进行分类，其中生成的图像G(x)和模糊的HDR图像b是虚假输入，真实的HDR图像y是真实输入。修改后的对抗性损失设计为:

​