DDcGAN：一种用于多分辨率图像融合的双鉴别器条件生成对抗网络 论文笔记

DDcGAN：一种用于多分辨率图像融合的双鉴别器条件生成对抗网络

摘要

我们的方法建立了一个生成器和两个鉴别器之间的对抗性游戏。 生成器的目的是生成一个真实的融合图像，基于一个专门设计的内容损失来欺骗两个鉴别器，而两个鉴别器的目的是区分融合图像和两个源图像之间的结构差异，以及内容丢失。 因此 融合图像被迫同时保持红外图像中的热辐射和可见图像中的纹理细节。 此外，为了融合不同分辨率的原始图像，低分辨率红外图像和高分辨率可见图像，我们的DDcGAN约束下采样融合图像具有与红外图像相似的特性 这可以避免造成辐射信息模糊或可见纹理细节丢失，这通常发生在传统的方法中。 代码在https://github.com/jiayi-ma/DDcGAN.公开

方法

我们提出的DDcGAN的整个过程如图1所示。给定可见光图像v和红外图像i，我们的最终目标是学习基于它们的生成器G，并且鼓励生成的图像G（v，i）具有足够的真实性和信息性以愚弄鉴别器。同时，我们利用了两个敌方鉴别器Dv和Di，它们分别产生一个标量来估计来自真实数据而不是G的输入概率，Dv的目的是将生成的图像与可见图像区分开来，而Di训练用于区分原始低分辨率红外图像和下采样生成/融合图像。由于平均池与最大池相比保留了低频信息，因此这里采用平均池进行下采样，热辐射信息主要以这种形式呈现。换言之，为了在发生器和鉴别器之间保持平衡，除了鉴别器的输入外，我们不将源图像v和i作为附加/条件信息馈送给Dv、 Di。即，每个鉴别器的输入层是包含采样数据的单通道层，而不是包含采样数据和相应的源图像作为条件信息的双通道层。因为当待判别的条件和样本相同时，将判别任务简化为判断输入图像是否相同，这对于神经网络来说是一个足够简单的任务。当生成器无法愚弄鉴别器时，将无法建立对抗关系，生成器将倾向于随机生成。因此，该模型将失去其原来的意义。

1） 生成器结构：

生成器由2个反褶积层、一个编码器网络和一个相应的解码器网络组成，如图2所示。由于红外图像具有较低的分辨率，我们首先在编码前采用了映射。我们引入反褶积层[35]来学习从低分辨率到高分辨率的映射，而不是通过最近、双线性或双三次方法进行简单的插值。该映射不需要定义上采样算子，不同于传统的上采样，其参数通过训练自动获取。反褶积层的输出是高分辨率的特征图，而不是上采样的红外图像。我们还通过一个独立的反褶积层来处理可见光图像，该反褶积层生成具有相同分辨率的特征图。反褶积层得到的结果串联起来，作为编码器的输入。在编码器中进行特征提取和融合，生成融合后的特征图作为输出。然后将这些图输入解码器进行重建，生成的融合图像与可见图像具有相同的分辨率。

该编码器由5个卷积层组成，每层通过3×3滤波器可得到48幅特征图。为了减少梯度的消失，弥补特征丢失和重用先前计算的特征，应用DenseNet[36]并以前馈方式在每一层和所有层之间建立短的直接连接。解码器是5层CNN，各层的设置如图2所示。所有卷积层的步长都设为1。为了避免梯度的爆炸/消失，加快训练速度，采用了批处理规范化方法。使用ReLU激活函数加快收敛速度，避免梯度稀疏。

2） 鉴别器结构：

鉴别器被设计成对生成器起对抗作用。特别地，Dv和Di分别将生成的图像与可见光和红外图像区分开来。然而，这两种类型的源图像是不同现象的表现，因而具有相当不同的分布。也就是说，Dv对G和Di对G的引导存在冲突，在我们的网络中，不仅要考虑发生器和鉴别器的对抗关系，还要考虑Dv和Di的平衡。否则，随着训练的进行，一个鉴别器的强弱最终会导致另一个鉴别器的效率低下。在我们的工作中，平衡是通过设计网络架构和训练策略来实现的。鉴别器Dv和Di是相同的体系结构，其设置为比生成器体系结构更简单，如图3所示。所有卷积层的步长设置为2。在最后一层中，我们使用tanh激活函数生成一个标量，该标量从源图像而不是G估计输入图像的概率。

论文下载：

链接：https://pan.baidu.com/s/1imtZhiZZ6s36Wg1FG5puTw 
提取码：zx04