利用GAN实现非成对的多模态MR图像生成2019-10-28

原文：Unpaired Multi-contrast MR Image Synthesis Using Generative Adversarial Networks
论文来自2019MICCAI

摘要：

一些医学图像在某些情况下可能不容易获得，因此从能得到的图像出发生成不能得到的图像有较大的医学价值。普通的GAN不能使用一个生成器和判别器生成多种与之相对应的不同模态的图像，因此对于生成多个模态的图像需要多个模型。针对这个问题，本文提出了新的模型，使用Star-GAN来实现一到多的生成。本文引入了新的损失函数，它强制生成器生成高质量的图像，在视觉上更真实，并且有很好的结构相似性。在IXI数据集上学习所有可能的映射（T1,T2,PD,MRA），定性和定量都比较好。

介绍

因为深度学习的训练需要很多数据，但是标注代价昂贵因此为了提高深度学习的表现，通过生成一些图像的方法来实现数据增广是有研究价值的。传统方法通过cycle-gan 、c-gan 、wasserstein-gan或者pix2pix来实现一对一的生成。我们使用star-gan和U-NET来实现一对多的生成。模型能够以无监督的形式训练，这样能够使生成器学习不同种模态的通用的几何特征。无监督的方式也消除了成对数据的要求，因此对数据的限制较小。
在损失方面，使用结构相似性来约束小细节特征。除此之外还采用了‘学习感知图像块相似性’（ Learned Perceptual Image Patch Similarity (LPIPS)不知道怎么翻译，目前第一次看到。）模型实现1输入4输出。

方法：

能够实现四种模态之间的转化，输入一个和一个目标域能够产生出相对的图像。

Fig. 1. U-NET generator performs two synthesis: (i) generating a fake image given depth-wise concatenated real image and target contrast; (ii) reconstructing real image given fake image concatenated depth-wise with original contrast. Fake image is used to measure two losses: (i) Adversarial loss and (ii) contrast classification loss using PatchGAN discriminator. Reconstructed and real image are used to measure reconstruction loss to observe how close reconstructed image is to the real image in terms of structural (SSIM), perceptual (LPIPS) and global (L1) similarity

U-net用来实现两种生成，一种是输入一个域和另一个域的标签，通过深度级联（depth-wise concatenat）然后生成另一个域的假的图像。另一中是输入假的图像和原始的标签生成由假图重建的图像。第一步的生成用来计算对抗损失和分类损失。第二部分的生成中用来计算相似性的损失包括（L1范数，DSSIM,LPIPS）
过程和star-gan一样

star-gan

损失函数

对抗损失

本文使用正则化的带有梯度惩罚的Wassersteing GAN (WGAN-GP)，能够稳定学习，和增强生成图像的质量。定义如下：

第一项损失是WGAN-GP损失，第二项是正则化项

G（x,c）表示输入x图像和目标域的标签生成的假图像。

x' and x''是与x相近的相距很近的数据。D_是从第二层到最后一层判别器的输出。

这部分看的不是太明白。具体可能因为WGAN没有看过把。应该原始论文中有，需要后面完善。

分类损失

使生成器生成正确域的图像

第一个式子使真图的分类损失，第二个是假图的分类损失。

生成损失

cycle损失

因为L1范数关注点在整张图像而忽视了区块（patch）之间的相似性。为此我们增加了两项来强化约束小区域，和结构相似性。
1）DSSIM损失：是SSIM损失的升级
2）LPIPS损失：https://arxiv.org/abs/1801.03924 还未看。

因此重建损失为

重建损失

总的损失为

判别器损失

生成器损失

网络结构

生成器是Unet结构。判别器是基于PatchGAN的判别器。

实验和结果

使用LXI数据集 IXI dataset

定量分析：

定性分析：

Fig. 2. Synthesis of MRA, PD-weighted and T1-weighted images using a single T2- weighted image as input.

个人看法：

emmmm不应该和star-gan比较把。应该和介绍中提到的其他方法比较把。cycle，cgan之类的把。star-gan直接应用在这上面肯定效果不是很好啊。这个比较个人觉得无意义。