GAN在医学图像生成中的应用

GAN框架由生成器(G)、鉴别器(D)以及真实数据X的训练数据集组成。G生成器,是一个多层网络参数θG,旨在找到一种映射x = G(z,θG)。通过映射,G生成假数据。另一方面,鉴别器D(x;θD)旨在把假样本和真实数据区分开来。
$$\underset{G}{\min }\underset{D}{\max }V(D,G)={\mathbb{E}}_{x\sim p_{data}(x)}[log(D(x))]+{\mathbb{E}}_{z\sim p_z(z)}[1-log(D(G(z)))]\text{\hspace{1em}(1)}$$

GAN的主要优点是通过关注数据的潜在概率密度，找到模型的数据分布。虽然GANs与CNNs相比具有这样的内在优势，但也存在一些挑战:

• 1). 崩溃问题（mode collapse）:当G崩溃时，将所有不同的输入映射到相同的数据;
• 2). 不稳定性:导致相同输入产生不同的输出。这些现象的主要原因与优化过程中梯度消失有关。

虽然批处理归一化(batch normalization)是解决GAN不稳定性的一种方法，但它不足以使GAN的性能达到最优稳定性。因此，已经引入了许多GANs的子类来解决这些缺陷。部分框架如图所示：

1、重建

对丢失的图像数据进行重建，可以在诊断过程中起到有效的作用。由于GAN在数据合成方面的良好性能，使其具有相当大的潜力。在一些医学影像中，如磁共振成像(MRI)，需要较长的获取时间，患者的无意识(即由于呼吸)和自主(即由于不舒适的情况)运动是非常常见的。这些运动导致图像中器官的一些关键信息丢失。基于GAN的方法则试图在不完全(零填充)和完全采样的MR图像之间找到映射。
表2和表3总结了一些GANs的特性和性能。在医学图像的重建中，GANs似乎可以提供很好的性能，在损失函数中加入一些操作，突出纹理细节和特殊特征。

2、合成

最初，GAN被提议作为**完全无监督的生成框架，其目标是在训练数据分布之后将随机噪声映射到真实的图像。**利用conditional GAN，成功地转变为监督生成框架。本文将原始GAN框架称为无条件或无监督GAN，与conditional GAN相反。要强调的是，区分这些不同的概念对文献进行相应的分类是非常重要的。

两种框架的属性被利用来合成某些类型的医学图像，这些图像既可以来自单独的噪声，也可以来自先前的知识（参见条件图像合成），例如元数据甚至是用于映射的图像数据。从一种形态到另一种形态的图像。
Discussion

1 GAN在医疗领域的优势

基于GAN的深度生成模型能够产生逼真的图像，在医疗图像独有的两个挑战中，Gan具有得天独厚的优势：

• 标注的稀缺性：通常，标注在医学图像中too expensive且难以获得。针对此类问题的基于监督学习的深度神经网络具有挑战性。正如合成和转化中的多项研究所证明的那样，GAN可以利用这两个即将到来的框架
• 不成对的数据：找到正确的数据（按像素或按区域）是极具挑战性的。GAN框架十分强大，例如cycle GAN从不成对的训练图像中学习独特的模式并产生逼真的输出。

2 缺点

本文确定当前形式的GAN中可能阻碍其在医学界发展的三个主要缺点：

• 合成数据的可信度：基本网络 - 发生器和鉴别器仍然是深度神经网络，其机制尚未得到很好的研究。在医学图像中，强度通常与某些含义相关，例如，可以基于CT数据的HU大致分类组织类型。目前GAN重建中缺少这种关联和映射，这一缺点足以让临床医生不信任GAN合成的图像。
• 不稳定的训练：许多文献指出GAN训练的数值是不稳定的。这会导致mode cllaspe等情况。state of the art的工作在真实图像的GAN训练中着重于解决这些数值不稳定问题。然而，在医学成像中，图像模式本身不清晰，如何识别这样的问题尚不清楚。
• 评估指标：评估reconstruction结果的最佳方法仍不清楚。在医学成像中，研究人员主要依靠传统指标（如PSNR或MSE）来评估GAN重建质量。然而这种指标的缺点是人们选择GAN的主要原因。

参考：医学图像领域的GANs

参考：