论文原文：https://link.springer.com/chapter/10.1007/978-3-030-00536-8_1
完整的图、表及引用见原文，用于学习记录，与有需要的人分享。
摘要
在训练深度学习模型时，数据多样性是成功的关键。医学影像数据集往往是不平衡的，因为病理发现通常是罕见的，这带来了重大的挑战，当训练深入学习模型。在这项工作中，我们提出了一种方法来生成合成异常的MRI图像与脑肿瘤通过训练生成的敌对网络，我们提供了两个公开可用的数据集的大脑MRI。我们展示了合成图像提供的两个独特好处。首先，我们利用合成图像作为数据增强的一种形式，演示了改进的肿瘤分割性能。其次，我们证明了生成模型作为匿名化工具的价值，当对合成数据和真实受试者数据进行训练时，可以获得类似的肿瘤分割结果。综上所述，这些结果为ma- chine学习在医学影像领域面临的两个最大挑战提供了一个潜在的解决方案，即病理发现的发生率较低，以及共享患者数据方面的限制。
1 介绍
众所周知，要训练出一种成功的用于医学图像分析的机器学习算法[6]，需要足够的数据量。等级不平衡程度高或[18]变异性不足的数据导致分类性能较差。这在医学成像领域经常被证明是有问题的，因为根据定义，异常的发现是不常见的。此外，在图像分割任务中，手工标注体积数据所需的时间只会加剧这种差异;手工分割一个异常在三维可能需要超过15分钟的研究，使其不切实际的繁忙的放射学实践。其结果是缺少带注释的数据，并且在尝试训练一个精确的算法时面临相当大的挑战。虽然传统的数据增强技术(如作物、平移、旋转)可以缓解这些问题，但它们从根本上生成高度相关的图像训练数据。
在本文中，我们展示了一种解决这个问题的潜在方法，即使用生成式对抗网络(GAN)[9]生成合成图像，该网络提供了arXiv:1807.10225v2 [cs]。多参数磁共振成像(MRIs)是由脑解剖和肿瘤的分割掩模生成的异常脑(肿瘤)的多参数磁共振成像(MRIs)。这提供了一个可自动化的、低成本的多样化数据来源，可以用来补充训练集。例如，我们可以改变肿瘤的大小、改变其位置，或者将肿瘤放置在健康的大脑中，从而系统地获得图像和相应的注释。此外，GAN训练对医院数据生成合成图像，可以用来共享机构外的数据，用作匿名化工具。
医学图像仿真与合成的研究已经有一段时间了，在医学成像领域[7]得到了越来越多的关注。这部分是由于数据可用性的指数增长，部分是由于更好的机器学习模型和支持系统的可用性。在医学影像[7]仿真与合成专刊上，介绍了12项医学影像合成与仿真的最新研究成果。
该工作属于合成类，大部分相关工作是Chartsias等人的[3]和Costa等人的[4]。我们使用公开可用的数据集(ADNI和BRATS)来演示多参数MRI图像合成和Chartsias等人的[3]useBRATSandISLES(缺血- strokelesionsegmentation, ISLES)数据集(2015challenge)。尽管如此，综合图像的评价标准是通过MSE、SSIM和PSNR来证明的，但并不直接针对诊断质量。Costa等人[4]使用GAN生成带有标签的人工视网膜图像，但是与这项工作相比，表现更多样的病理模式的能力是有限的。另外，之前的工作都是在2D图像或3D图像的切片/视图上演示的，而在这个工作中，我们直接处理3D输入/输出。多参数输入/输出维数为4D (T1/T2/T1c/Flair)。我们认为，在自然界中以3D/4D的方式处理数据能更好地反映数据的真实情况及其相关问题。
GANs在医学成像领域的应用在过去的一年里有了显著的增长，这反映了机器学习领域的总体趋势。GANs已被用于从单个术前MRI[10]生成运动模型，向上采样低分辨率眼底图像[13]，从脑MRI[16]生成合成的头部CT，以及从t1加权的[5]合成t2加权的MRI(反之亦然)。使用GANs的分割在[22,21]中得到了证明。最后，Frid-Adar等人在肝脏病变分类[8]的背景下，利用GAN进行数据增强。据我们所知，目前还没有关于生成合成医学图像作为肿瘤分割任务的匿名化和数据增强形式的文献。
2 数据
2.1 数据集
我们使用了两组公开的大脑MRI数据:
年代老年痴呆症神经影像倡议(ADNI)数据集ADNI启动于2003年,是一个公私合营的伙伴关系,主要探讨了——迈克尔·w·维纳tigator为首。ADNI的主要目标是测试是否连环磁共振成像(MRI),正电子发射断层扫描(PET),其他生物标记,和临床和神经心理学评估可以组合测量的进展轻度认知障碍(MCI)和阿尔茨海默病(AD)早期。有关ADNI研究的最新信息，请参见www.adni-info.org。我们采用了[17]的方法，它被证明是有效的分割阿德尼达的大脑阿特拉斯。采用SPM12[1]分割和蚂蚁SyN[19]非线性配准算法生成ADNI t1加权图像中的白质、灰质和脑脊液(CSF)。总共有3416对t1加权MRI及其对应的节段组织类图像。
多模态脑肿瘤图像分割基准(BRATS)数据集BRATS利用多机构的术前核磁共振成像(MRIs)，专注于本质上异质性(外观、形状和组织学)脑肿瘤的分割，即胶质瘤[14]。每个患者的MRI图像集包括一系列不同的序列，包括T1加权、t2加权、T1造影增强和FLAIR，以及水肿、增强肿瘤和非增强tu- mor的ground-truth体素注释。有关BRATS数据集的更多细节，请参见脑肿瘤节段。虽然BRATS挑战赛每年举办一次，但我们使用了BRATS 2015年培训数据集，该数据集是公开的。
2.2 数据集分割和预处理
作为一个预处理步骤,我们执行skull-stripping [11] ADNI数据设置为头骨小鬼数据集不存在。2015BRATS训练集提供了264项研究,其中我们使用第一个80%作为训练集,剩下的20%作为测试集来评估最终的算法性能。在训练集中进行超参数优化，对每个算法和设置只评估一次测试集。我们的GAN是三维操作的，由于内存和计算的限制，我们将训练图像轴向裁剪成包含中心108个切片的图像，丢弃中心区域上下的切片，然后重新采样到128 128 54进行模型训练和推理。为了公平评价brats的分割性能，我们使用原始图像的解为256 256 108进行评价和比较。然而，很有可能非常小的肿瘤会因为向下采样而丢失，从而影响最终的分割性能。
3 方法
采用[12]中引入的图像-图像转换条件GAN(pix2pix)模式，对标签- mri (syntheticimagegeneration)和mri -标签(image segmentation)进行转换。对于脑分割，生成器G给出一个t1加权的ADNI图像作为输入，训练生成一个含有白质、灰质和脑脊液的脑掩膜。在这个过程中(如图1所示)，产生器G学会了从t1加权的MRI输入中分割大脑标签。因为我们没有合适的现成的大脑解剖分割方法，小鬼的数据集和ADNI数据集不包含肿瘤信息,我们首先训练pix2pix模型部分正常的大脑解剖的T1影像ADNI数据集。然后,我们使用该模型来执行推理的T1系列小鬼数据集。神经解剖学的细分,结合肿瘤分割小鬼们提供的数据集,提供一个完整的分割与肿瘤的大脑。
合成图像的生成是通过反转输入到生成器和训练识别器执行反向任务(即。，这些成像数据是从神经系统获取的还是合成的?与此相反，这种分割是基于事实的注释还是综合生成的?图1 (b))。我们从这些标签生成合成的异常大脑MRI，并通过调整这些标签(例如，改变肿瘤大小，移动肿瘤的位置，或将肿瘤放置在其他无肿瘤的大脑标签上)引入可变性。再次使用GAN分割模块，从BRATS数据集(输入:多参数mri;输出:肿瘤标签)中分割肿瘤。我们比较的分割性能1)有和没有额外的合成数据，2)只使用合成数据和微调模型对10%的实际数据;并将他们的GAN性能与2017年BRATS挑战赛中表现最好的算法4[20]进行比较。
3.1 数据增强与合成图像
经过训练的GAN可以从标签生成合成图像，从而可以生成任意多序列的异常脑磁共振成像。因为我们分别有脑解剖标签和肿瘤标签，我们可以改变肿瘤的标签或者大脑的标签得到我们想要的合成图像。例如，我们可以改变肿瘤的特征，如大小、现有的脑和肿瘤标签集的位置，或者将肿瘤标签放置在无肿瘤的脑标签上。示例如下所示图3。
在本研究中，还没有对该算法的执行效果进行评估。
由于GAN最初是针对来自ADNI数据集的3416对T1加权(T1)图像进行训练的，因此生成的T1图像质量高，并且在质量上难以与原始图像区分。利用BRATS数据训练非t1加权图像序列的生成。对比增强t1加权图像采用与t1加权图像相同的图像采集方案。因此，合成的增强T1图像看起来相当真实，尽管在一些生成的图像中沿肿瘤边界有较高的对比度。T2加权(T2)和FLAIR图像采集与T1加权图像有本质区别，合成图像与扫描获取图像的区分难度较小。然而，由于对所有这些模式进行了足够大的训练，这一早期证据表明，在所有模式上生成逼真的合成图像是可能的。
除了提高图像分辨率和获取更多的数据，特别是对于t1加权图像以外的序列，还有一些重要的途径可以探索，以提高整体图像质量。例如，可能需要对肿瘤边界给予更多的关注，以便在放置人工肿瘤时不会出现重叠和离散的情况。此外，需要研究脑分割算法的性能及其在不同数据集之间的泛化能力，以获得结合来自不同患者群体的数据集的更高质量的合成图像。
除了常用的数据增强方法，如随机裁剪、旋转、平移或弹性变形[15]，还可以使用合成图像进行增强。此外，我们使用基于gan的合成图像生成方法对增强图像有更多的控制，我们有更多的输入选项(即(标签)，以扰乱给定的图像比通常的数据增强技术。通常的数据增强方法主要依赖于随机过程，并在整个图像水平上操作，而不是特定于某个位置，如肿瘤。此外，由于我们从相应的标签生成图像，因此我们可以得到更多的用于培训的图像，而不需要经过劳动密集型的手工标注过程。图4显示了用真实和合成图像以及标签对GAN进行训练的过程。
3.2 生成具有变异的匿名合成图像
保护个人健康信息(PHI)是处理患者数据的一个关键方面。通常情况下，对患者数据传播的关注限制了社区数据的可用性，阻碍了该领域的发展。虽然所有DICOM元数据和颅骨剥离通常会消除几乎所有可识别的信息，但向医院的数据共享委员会证明这一点几乎是不可能的。仅仅取消对数据的识别是不够的。此外，当从敏感的病人数据中提取模型时，模型本身也要小心谨慎。实验表明，[2]可以从训练后的模型中提取私有数据。
开发一种能够生成合成的、但又逼真的数据流的GAN，来应对这些挑战。第一篇文章阐述了即使使用色素沉着面膜，在生成的研究和原始研究之间也可以观察到明显的变化。这表明，GAN生成的图像并不能反映潜在的患者个体，而是从总体上吸引了人群中的个体。它生成的新数据不能归因于单个患者，而是基于所提供的细分的训练人群的实例化。
4 实验和结果
4.1 使用合成数据进行数据扩充
基于gan模型和Wang等人的[20]模型(基于真实和合成数据训练)对整个肿瘤分割结果的Dice评分评价如表1所示。分割模型仅针对BRATS 15个训练数据的80%进行训练，训练数据辅以综合数据。骰子的分数是评估20%的定出集从BRATS 15训练数据。所有的模型都在NVIDIA DGX系统上接受了200个epoch的培训。
表1。基于gan的分割算法和BRATS 17的性能最好的[20]算法的骰子得分评估(均值/标准差)，仅针对真实数据进行训练;真实+合成数据;只对合成数据进行训练，并对10%的真实数据进行微调。在训练过程中，基于GAN的模型分别使用(有aug)和不使用(无aug)进行训练，包括常用的数据增强技术(作物、旋转、平移和弹性变形)。所有的模型都经过200个世代的训练来收敛。
在不增加常规数据(作物、旋转、弹性变形;GAN-based(无- 8月))。然而，当添加常规数据增强(基于gan的(no-aug))时，性能会有小幅提高，这也适用于Wang等人采用常规数据增强技术的[20]模型。
Wang等人的模型在全分辨率(256x256)下运行，每个轴向/冠状/矢状视图结合三个2D模型，而由于GPU内存限制，我们的模型和生成器的运行分辨率只有一半(128x128x54)。我们对GAN生成的图像进行了两倍于BRATS的上采样，以便与BRATS进行公平的比较，但是在上/下采样过程中，可能会丢失非常小的肿瘤。使用基于gan的模型可以观察到更好的性能，GPU的可用性更大，内存更大。此外，我们认为，生成的分辨率只有一半的合成图像，加上缺少t1加权图像以外的训练图像序列，可能导致分割性能比使用通常的数据增强技术提高得相对较小。我们仔细地假设，随着更多T2/Flair图像的可用，这些序列的图像质量将会更好，因此更多模型和肿瘤类型的表现也会更好。
4.2 匿名合成数据培训
我们还评估了基于gan的分割仅在合成数据上的性能，其数量大于或等于真实数据的数量，但不包含任何原始数据。骰子得分评估如表1所示。最优性能达到GAN-based和王的模型等。[20]当培训的合成数据量等于原始训练集80%。然而,更高的性能,与培训的真实数据,实现当训练两个模型使用超过五倍的合成数据(只),和微调使用10%的随机选择真正的训练数据。在这种情况下，合成数据提供了一种预培训形式，允许使用更少的真实数据来实现可比较的性能水平。
5 结论
本文提出了一种生成算法，利用图像到图像的转换GAN，从相应的分割掩模生成合成的异常脑肿瘤多参数MRI图像。当通过改变输入标签映射生成这样的合成图像时，可以引入高水平的变化。这在多个算法中提高了分割性能。此外，这些相同的算法可以训练完全匿名的数据集，允许共享训练数据。当与较小的、特定于机构的数据集相结合时，中等规模的组织就有机会培训成功的深度学习模型。