Goodfellow等人,介绍了生成对抗网络（GAN）以模拟数据分布。由于与两个基本属性相关的原因，GAN可以合成真实图像。
GAN是一种无监督的训练方法，可以通过类似于人类学习图像特征的方式获取信息。
通过发现潜在的高维数据分布，GAN在特征提取方面具有良好的性能。
本文回顾了医学图像处理应用中提出的基于GAN的结构，包括去噪，重建，分割，检测，分类和图像合成。论文的分布如图1所示。
本文最后汇总了63篇论文，涵盖了各种GAN。在第3节中，介绍了GAN的体系结构及其医学图像应用的子类。第4节描述了医学图像处理应用中GAN的不同贡献（去噪，重建，分割，检测，分类和合成）。第5节介绍了使用GAN进行医学图像处理的研究方法，挑战和未来。方向。
监督深度学习是目前许多计算机视觉和医学图像分析任务中最先进的技术。但是，它的主要限制因素是它依赖于大量带注释的训练数据。这在医学领域尤其重要，因为医学图像的获取和标记需要专家，导致严重缺乏标签训练数据。
机器学习的另一个问题是对于一般任务（例如超分辨率，分割或图像到图像转换），必须手动设计相似性度量。传统的相似之处包括像素级损失，例如L1和L2距离，这两者都模糊了结果并且缺乏上下文整合。GAN的对抗性训练通过学习丰富的相似度来区分真假数据，从而消除了对显式像素级目标函数建模的需要。该特征最近已被用于改进医学图像分割，图像增强（例如去噪），以及使用基于GAN的图像到图像转换技术来解决医学图像域移位的问题。
域转移现象实际上是另一个主要问题，目前限制了深度学习模型的泛化能力。假设训练数据和推理数据来自相同的分布，因此训练的模型也应该在看不见的数据上正常工作。这种假设通常不正确，并限制了模型的应用。性别。领域适应是指使模型对这种领域转变具有鲁棒性，而对抗训练具有巨大的潜力。
GAN框架由生成器（G），鉴别器（D）和实际数据X的训练数据集组成.G生成器是多层网络参数θG，其被设计用于找到映射x = G（z，θG）。通过映射生成G，并生成G. 另一方面，鉴别器D（x;θD）旨在将伪样本与真实数据区分开。
GAN的主要优点是通过关注数据的潜在概率密度来找到模型的数据分布。尽管GAN具有相对于CNN的固有优势，但仍存在一些挑战：
模式崩溃：当G崩溃时，将所有不同的输入映射到相同的数据;
不稳定：使相同的输入产生不同的输出。这些现象的主要原因与优化过程中梯度的消失有关。
虽然批量标准化是解决GAN不稳定性的一种方法，但是不足以实现GAN性能的最佳稳定性。因此，已经引入了许多GAN子类来解决这些缺陷。部分框架如下所示：
在医学图像处理中的应用
1，去噪
由于过量辐射对健康有害，减少辐射剂量已被用作有效的解决方案。然而，剂量减少会增加医学图像的噪声水平，这可能导致一些信息的丢失。当前基于CNN的去噪方法的主要问题是在优化中使用均方误差，导致预测图像模糊，这不能提供常规剂量图像的纹理质量。GAN可以通过检测噪声图像和去噪图像之间的映射来消除该问题并生成图像。
表1总结了主要的基于GAN的去噪方法。通过控制损失函数以考虑更多纹理特征，实现了良好的医学图像降噪性能。然而，找到快速，准确和稳定的架构是未来工作的开放方向。
2，重建
重建丢失的图像数据在诊断过程中可能是有效的。由于GAN在数据合成中的良好性能，它具有相当大的潜力。在一些医学图像中，例如磁共振成像（MRI），需要更长的采集时间，并且患者的无意识（即，由于呼吸）和自主（即由于不舒适的条件）运动是非常常见的。这些移动导致图像中的一些关键信息丢失。基于GAN的方法试图找到不完整（零填充）和完全采样的MR图像之间的映射。
表2和表3总结了一些GAN的特性和性能。在医学图像的重建中，GAN似乎提供了良好的性能，为损失功能添加了一些操作，突出了纹理细节和特殊功能。
3. 分割
医学图像处理中的物体和器官的标记在异常检测和形状识别中起重要作用。此外，分段被定义为许多其他任务的预处理步骤，例如检测和分类。因此，自动分割已经引起了许多研究者的关注。近几十年来，自动分割是医学图像处理中应用深度学习中最常见的主题。
通常，基于CNN的分割方法使用像素丢失来学习像素之间的局部和全局关系。因此，需要统计建模方法，如条件随机场或统计形状模型来纠正其结果。尽管已经提出基于补片的CNN方法来解决该问题，但是这些方法需要在准确度和补丁大小之间进行权衡。已经提出了基于加权交叉熵损失的基于U-Net的架构，但是这些方法面临权重优化问题。因此除了减肥之外，还需要一般的损失来解决这个问题。GAN在医学图像中被分割，主要在脑，胸，眼，腹部，显微图像，心脏运动和脊柱中。表5至10总结了基于GAN的分割方法。从已知的DNN架构来看，U-Net和ResNet是最常用的网络，因为它们提供通用识别功能，并且可以用作基于GAN的分段模型中的生成器。
大脑
胸部
胸部X射线图像分割的主要障碍是图像质量差，局部伪影和心肺重叠。戴等人。提出了一种基于GAN的解决方案（SCAN），可以增强分割的整体一致性，并提取心脏和左/右肺的轮廓。这项工作的主要贡献是使用完全连接的网络，其中VGG下采样路径的特征映射较少。
眼睛
在视网膜血管分割中，许多基于CNN的方法比人类专家表现得更好。Son等人。用GAN取代CNN，遵循发电机的U-Net架构。两个数据集的实验结果表明，传统鉴别器可以实现最佳性能，甚至优于人类专家的注释。
拉希里等人。提出了一种基于DC-GAN的分割方法，该方法将RoI补丁与背景分开。类似的CNN需要大量的训练数据才能很好地执行，并且所提出的结构使用九分之一的训练数据实现了类似的性能。
Shankaranarayana等。建议使用cGAN网络分割二维彩色眼底图像。发电机是防损和L1损耗的网络。
腹部
腹部MRI图像中脾脏的大小和形状的差异导致CNN深度分割方法的错误标记。GAN模型可以解决这个问题。
显微图像
脊柱
4.测试
在医学诊断中，许多疾病标志物被称为异常。然而，从图像计算检测异常需要大量的监督训练数据。即使有如此大量的数据，也无法保证学习网络能够检测到无形的情况。
与之前的应用相比，GAN在异常检测中提供的论文具有更多的结构复杂性，因为它们受益于GAN的不同方面。事实上，鉴别者的作用在实践中更为突出。此外，提取的地图定义了识别健康和异常图像的潜在方面，以便以更感性的方式使用。
5.分类
由于在心脏超声（US）成像期间发生心脏和呼吸运动，所得到的图像可能显示不完整的信息，例如心脏的基部和顶端切片，这是识别左心室（LV）解剖结构的关键特征。因此，需要自动化系统来完成缺失部分或丢弃具有不完整信息的图像，这可能误导分类过程。
张等人。提出了一种半耦合GAN（SCGAN）来对有用的心脏图像进行分类，其中缺少基础切片，如下图所示。结果表明，与CNN方法相比，该方法具有更高的精度和更低的计算成本。此外，SCGAN还提高了对抗训练的稳健性。
6.合成
最初，GAN被提议作为完全无监督的生成框架，其目标是在训练数据分布之后将随机噪声映射到真实图像。使用条件GAN，它成功地转变为监督生成框架。本文将原始GAN框架称为无条件或无监督GAN，而不是条件GAN。重要的是要强调区分这些不同的概念并相应地对文献进行分类是很重要的。
这两个框架的属性用于合成某些类型的医学图像，这些图像来自个体噪声或来自先前的知识（参见条件图像合成），例如元数据或甚至用于映射的图像数据。从一种形式到另一种形式的图像。
讨论
GAN在医学领域的优势
基于GAN的深度生成模型可生成逼真的图像，而Gan在医学图像的两个独特挑战中具有独特的优势：
标签的稀缺性：通常，标签过于昂贵且难以在医学图像中获得。基于监督学习的深度神经网络对于这些问题具有挑战性。通过综合和转换的多项研究证明，GAN可以利用这两个即将到来的框架。
不成对数据：找到正确的数据（按像素或按地区）非常具有挑战性。GAN框架非常强大，例如循环GAN从未配对的训练图像中学习独特的模式并产生逼真的输出。
2，缺点
本文确定了当前形式的GAN中可能阻碍其在医学界发展的三个主要缺点：
合成数据的可信度：基本网络 - 发生器和鉴别器仍然是深度神经网络，其机制尚未得到很好的研究。在医学图像中，强度通常与某些含义相关联，例如，可以基于CT数据的HU粗略地对组织类型进行分类。这种关联和映射目前在GAN重建中缺乏，这是一个足以让临床医生不信任GAN合成图像的缺点。
不稳定的培训：许多文件表明GAN培训的价值不稳定。这可能导致模式cllaspe等情况。现有技术的工作集中在解决实际图像的GAN训练中的这些数值不稳定性问题。然而，在医学成像中，图像图案本身并不清楚，并且不清楚如何识别这样的问题。
评估指标：评估重建结果的最佳方法仍不清楚。在医学成像中，研究人员主要依靠传统指标（如PSNR或MSE）来评估GAN重建的质量。但是，这个指标的缺点是人们选择GAN的主要原因。
3.未来前景
本文认为，GAN需要解决上述主要缺陷，才能成为医疗保健领域值得信赖的技术。
还需要解决训练不稳定性问题，这意味着需要进行严格的实验来理解GAN在医学成像环境中的融合。指标的问题很棘手，临床医生明白临床医生在CAD中合成GAN图像的表现是必要的第一步。简而言之，GAN在未来几年内开辟了许多可能的研究问题。正确的理解和回答是在实际临床情况下成功部署GAN的关键。
参考文献：关注微信公众号：“图像算法”或者微信搜索imalg_cn 可获取