D2FE-GAN: Decoupled dual feature extraction based GAN for MRIimage synthesis

论文：Zhan B, Zhou L, Li Z, et al. D2FE-GAN: Decoupled dual feature extraction based GAN for MRI image synthesis[J]. Knowledge-Based Systems, 2022, 252: 109362.

仅用作学习笔记，方便日后查看

我们的方法通过两个不同的编码器分别从源模态和目标模态中解耦底层信息和代表信息。针对目标模态在测试阶段的不可见性，我们提出首先利用残差网络生成一个中间模态作为伪目标模态。然后，将解耦后的两种信息通过解码器进行集成。这里，我们引入自适应实例归一化层，将仿射参数替换为代表信息的均值和标准差，从而完成特征空间信息的融合处理。在BRATS2015数据集和IXI数据集上的实验结果表明，该方法在定性和定量上都优于现有的图像合成方法。

它由一个发生器网络和两个鉴别器网络组成。该网络由伪目标模态生成(PTMG)模块、双模态特征提取(DMFE)模块和设计的译码器三部分组成。具体地说，DMFE模块由两个编码器组成，分别从源模态提取底层信息和从目标模态提取代表信息，用于图像合成。因此，它们被命名为底层编码器和代表编码器。为了从目标模态中提取具有代表性的信息，我们使用PTMG模块生成中间结果作为伪目标模态。我们的D2FE-GAN模型的整个过程可以总结如下。首先，PTMG模块将源模态作为输入，生成中间结果作为伪目标模态。然后，我们将伪目标作为DMFE模块的代表编码器的输入，提取代表信息以逼近真实目标模态。此外，我们将源模态作为DMFE模块底层编码器的输入，提取底层信息.

通过所设计的译码器，将底层信息和代表信息融合生成结果。值得一提的是，在我们的D2FE-GAN模型中有两个鉴别器。第一个鉴别器的目的是确保生成的伪模态具有与目标模态相同多的相似信息，而第二个鉴别器的目的是区分合成目标模态和真实目标模态。

 

在解码器的初始阶段，有4个残块用于信息融合，每个残块采用填充-卷积-归一化激活结构。特别是，我们没有直接将源模态信息与目标模态信息融合，而是在解码器中加入了自适应实例归一化(adaptive Instance Normalization, AdaIN)层，并通过将AdaIN的shift和scale参数替换为代表编码器获得的Ξ '和∆'来合并这两个信息。假设α为AdaIN层的输入，则Ξ(α)和∆(α)分别为α的均值和标准差。首先，AdaIN层将α归一化为:

然后，AdaIN层用图3中的∆'缩放归一化α '，并用图3中的Ξ '移位

 这样，我们可以有效地完成两种信息的融合，而无需引入额外的参数来学习。融合完成后，我们采用三次转置卷积作为上采样操作，将深度融合特征恢复到与原始输入相同的大小，将特征从潜在空间映射到我们想要的模态空间。通过一个Tanh层，生成最终的合成模态图像。

目标函数：

所提出的D2FE-GAN模型的损失主要来自于中间结果预测、目标模态生成和识别过程。让我们将x表示为源模态，y表示为目标模态。PTMG模块由源模态x生成伪目标模态G(x)，然后利用G(x)作为DMFE模块的一个输入，提取具有代表性的特征信息。同时，将G(x)带入鉴别器(D1)进行第一次损失计算:

考虑到重构损耗有助于网络捕获全局外观特征以及合成模态中目标模态相对粗糙的特征，我们额外使用L1损耗:

 

 对于DMFE体系结构，它将x和G(x)作为输入，并输出合成模态M(x, G(x))。然后取M(x, G(x))到鉴别器(D2)进行损失计算:

 这里我们也用L1损耗作为重构损耗，计算最终合成目标模态与真实目标模态的差值:

我们的贡献之一是引入了AdaIN层，它是为样式传输任务设计的。为了进一步证明它对我们的MRI合成任务的贡献，我们还测试了D2FE-GAN的一个变体，用IN层替换AdaIN层。在这种情况下，代表信息不需要转换为向量，而是直接与底层信息级联，然后输入解码器。T1到T2任务中原始D2FEGAN(记作D2FE-GAN/AdaIN)和变种D2FE-GAN(记作D2FE-GAN/IN)的定量结果见表10。对比这两个模型，我们可以明显看到，更换AdaIN导致性能下降，PSNR和SSIM分别从26.655 dB下降到26.547 dB，从0.948下降到0.946,NRMSE从0.278上升到0.286。这些结果表明，引入AdaIN层更有利于特征融合和图像合成任务。 

在这篇论文中，我们提出了一个D2FE-GAN模型用于交叉模态MRI合成。不同于仅使用单个编码器提取医学图像合成中常见的潜在表征的方法，我们遵循图像解纠缠的思想，将图像分为底层信息和表征信息两个不同层次的信息，并采用两种不同的编码结构进行提取。针对测试集目标模态不可用的问题，我们提出了一个伪生成模块，在DMFE模块之前生成一个中间模态作为伪目标模态。此外，我们将目标模态的代表信息翻译为解码器中的AdaIN参数，以一种新颖的方式融合了两种不同层次的信息。最后，我们在BRATS2015数据集和IXI数据集上取得了最先进的结果，证明了我们方法的有效性