医学图像彩色化相关--20201208论文笔记Bridging the gap between Natural and Medical Images through Deep Colorization

4. Bridging the gap between Natural and Medical Images through Deep Colorization

摘要：深度学习通过在大规模数据集上进行训练而蓬勃发展。但在医学图像诊断的许多应用中，由于隐私性、采集同质性差、标注成本高等原因，仍然无法获取大量数据。在这种情况下，从自然图像集合中转移学习是一种标准做法，它试图通过预先训练的模型微调来一次性处理形状、纹理和颜色差异。在这项工作中，我们建议解开这些挑战，并设计一个专门的网络模块，侧重于颜色适应。我们将颜色模块的从头学习与不同分类骨干的转移学习相结合，获得一个端到端、易于训练的架构，用于x射线图像诊断识别。大量的实验表明，我们的方法在数据稀缺的情况下是特别有效的，并为在多个医学数据集之间进一步传输学习到的颜色信息提供了新的途径。

1.引言

在过去的几年里，深度学习在计算机视觉方面取得了重大突破，甚至在一些任务[1]上达到了超人的表现。这种成功的关键因素之一是大量的精心策划的图像集合的可用性，深度模型可以在这些图像集合上进行训练。由于RGB相机的广泛普及，收集大量图像相对容易:昂贵的部分仍然是为图像内容获得可靠的标签。当从自然图像转向处理多光谱信息的具体应用，如遥感[2]或医学诊断[3]中的单通道数据时，这就特别具有挑战性。特别是，后者需要获得私人医院的记录和经验丰富的医生提供的昂贵的手工注释。直到最近，人们才努力为社区提供了大量的医学参考数据集[4]、[5]，这些数据仍然只涵盖了一些特定的获取方式、身体部位和病理标记。一种弥补缺乏大量数据收集的方法是从数据丰富的领域转移知识。虽然很吸引人，但利用基于照片的源模型进行诊断任务意味着要开发一种方法来缩小自然图像和医学图像之间的差距，并处理由于纹理、形状和颜色而引起的分布变化。为了实现这一目标，最标准的策略是利用在像ImageNet[8]这样的大型数据集上预先训练过的现有网络架构(如ResNet[6]、DenseNet[7])，并简单地对有限数量的医学图像[9]进行参数微调。通过这种方式，网络保持了固定的知识容量，原始模型的权重逐渐被遗忘，取而代之的是对新领域有用的权重。一般采用权衡之间的自由提供重量修改和训练数据的基数:只有大集合支持一个完整的学习模型的参数,并在这些情况下pretrained模型仍然是一个相关的工具来减少训练时间从头开始学习。

在我们的工作中，我们提出了一种新的转移策略，通过关注颜色适应，它结合了从零开始学习的好处和利用预先训练的源模型的好处。自然图像的三种标准颜色通道编码的信息与在灰度x射线扫描中保存的信息极为不同，我们将展示如何重组这种转换，以有限的注释数据为学习提供必要的支持。具体地说，我们引入了一个有效的着色模块，该模块可以与在ImageNet上预先训练权重的不同骨架组合在一起。结果是一个端到端的，易于训练的架构，其中颜色模块从头学习，而主干可以保持固定或微调诊断多标签识别。一旦学习，着色模块可以进一步转移和重用在类似于主要任务的医疗任务(示意图概述见图1)。在下面我们第一次提供了一个简短的总结以前的工作转移学习在医学成像,也呈现在概述现有的图像彩色化方法(见第二秒。)。然后在第三节,我们描述的细节多阶段方法,讨论如何设计彩色化模块和展示三个变种。最后，第四节介绍了我们的实验设置，第五节展示了提出的方法在三种先进的x射线数据集上的性能。最后，第六部分总结了我们的研究结果并提出了未来的研究方向。

2.相关工作

A.医学影像的转移学习

在ImageNet上训练的卷积神经网络(CNNs)已经被证明可以很好地转移到各种医学成像任务上，从ImageNet转移学习已经迅速成为[15]领域的标准实践。然而，与RGB图像相比，医学图像具有独特的特征:它们通常是灰度级的，通常是12位的高分辨率图像，具有强烈的纹理内容。由于光照条件的变化，自然图像分类主要依赖于局部对比，而在医学图像中，强度值通常是组织类别或病理类别的信息，在某些情况下甚至可以标准化。因此，一个合理的问题是，从医学图像进行迁移学习是否比从RGB(非医学)图像进行迁移学习更有效，或者更普遍地说，有哪些策略可以促进从一个领域到另一个领域的迁移。在医疗源和非医疗源转移方面，很少有面对面的比较，而且他们的结果并不总是决定性的，这也是由于不同的数据基数、转移策略和成像方式。一项由Cheplygina等人进行的研究[16]回顾了12篇比较不同源arget组合和对比结果的论文:大约一半的作品表明，从非医学领域传输优于从其他医学数据集传输，另一半则支持相反的论点。证据表明，更大的数据集不一定对训练前更好，多样性可能发挥重要作用，而与RGB数据集[9]相比，医学数据集往往是非常同质的。通过医学数据集进行预训练，最好是通过相同的模态[17]和相同的身体部位[13]、[12]。在胸部x光的情况下，ImageNet的预训练被发现与肌肉骨骼x光的预训练一样有效，但不如另一个胸部x光数据[13]的预训练有效。比较迁移学习和从零开始训练的研究较少。他们认为，对预先训练好的模型进行微调至少和从头开始训练一样好，并且对小型数据集[11]、[16]具有实质性的优势。在最近worsk大规模数据集上，微调没有提供性能方面的优势，但仍然允许在训练[18]上一个显著的加速。尽管如此，为所有可能的模式和疾病收集大规模数据集是完全不可行的，从ImageNet转移学习仍然是医学成像，特别是二维图像的深度学习模型训练的突出策略之一。可选的转移方案是基于伪着色的转移方案，但相关文献相当有限。通过在每个通道上应用不同手工制作的窗口/水平设置，可以从CT扫描生成伪彩色图像，其方式类似于放射科医师增强不同组织[11]的对比度:然而，这种技术不能转移到其他模式，如x射线，其强度值没有标准化。Teare等人设计了一种遗传算法来发现一种用于乳房x线照射[19]的伪彩色增强方案:每个基因组编码三个预处理函数序列及其参数(如模糊、对比度增强、掩蔽)，每个颜色通道一个序列，选择能够最大化CNN准确性的预处理。这种方法，虽然在准确性上有了很大的提高，但在计算上是昂贵的，因为它需要训练和测试许多不同的网络;为了减少计算需求，这一步需要使用较浅的网络或较小的数据集。

我们的工作与上述所有转移学习方向有关，但引入了一种新的基于色彩的方法来利用非医疗资源。在解决感兴趣的医学识别任务时，我们提出让网络学习自己的最优颜色变换来缩小域间隙。通过这种方式,我们的方法可以充分利用所有可用的数据训练的低成本更新只有一个专用网络的一部分,它不需要任何强大的转换是潜在有用的假设,并且可以无缝地适应任何类型的输入方式和任何pre-trained CNN架构。

图1所示。一个示意图表示提出的多阶段转移学习管道。首先和分类器C一起从零开始训练着色模块T，同时保持对预先训练好的CNN主干E的冻结，学习最大化分类准确率的映射。然后，对整个网络进行微调，以学习对目标任务有用的特征，同时调整色彩映射。最后，在一个不同的数据集上评估完整的训练过的网络:这里我们冻结{T, E}模块，只训练最终的分类层C。

B.图像彩色化

图像着色方法产生RGB图像从一个单一的通道或灰度。不出意料的是，近年来，基于cnn的方法在很大程度上优于基于手工制作特征的浅层学习模型，因为它利用了大量的自然图像，而这些图像的颜色是被人为去除的。实际上，最常见的方法是学习对应的灰度和RGB图像对之间的参数映射，要么显式地编码每种颜色[20]、[21]的概率分布，要么通过生成的敌对网络[22]、[23]隐式地进行编码。当然，这些策略不能在目标颜色空间未知的医学领域中使用。除了主要与风格转换相关的工作外，色彩技术也被研究用于热图像[24]的工业应用，以及在机器人技术中，单一通道深度图像[25]，[26]被广泛使用。特别有趣的是在[27]的工作，在其中作者最近提出通过一个过程幻觉颜色从深度图像分类直接指导。所采用的架构可以充分利用预先训练好的基于imagenet的模型，因为深度图像虽然在纹理上有很大的不同，但包含了与RGB相似的物体形状。受到这项工作的启发，我们提出了超越它的建议，为医学图像定义定制的着色模块，以及一个涉及到预训练主骨干端到端更新的多阶段传输过程。

3.通过着色转移学习

A.学习策略

B.彩色化模块

面临的主要挑战的基础学习方法问题描述如何设计彩色化模块t .建筑在[27],我们考虑两个架构,使用卷积和池层将x ={1×320×320}灰度图像到一个x ={64×80×80}张量,然后根据输入的序列8残块,如图2所示。这两种架构在最后的上采样部分有所不同:我们使用[27]中的转置卷积来表示反卷积的情况，而在像素洗印中，我们基于最初为超分辨率应用[28]开发的同源技术进行了修改。这种技术可以减少由上采样引入的棋盘图伪影。我们还定义了着色模块的第三种变体，如下所示为ColorU(图3)。它的灵感来自于U-Net架构[29]和[30]，但是呈现了不同的块。输入图像经过3个下采样块(ColorDown)， 2个上采样块(ColorUp)和另一个最终的上采样块(ColorOut)生成彩色输出图像。所有这些块都使用条带卷积而不是空间池函数，允许模型学习如何向上/向下采样，而不是像[31]中提出的那样使用固定方法。每个ColorDown块由两个卷积层(conv with kernel 3 * 3和4 * 4)和一个批范数层组成。每个ColorUp块由一个转置卷积层(4×4)、两个conv层和一个BatchNorm层组成。ColorOut模型与ColorUp有类似的结构，但是没有最后的BatchNorm层。所有conv层都有一个泄漏的ReLU激活，在BatchNorm之前应用，除了输出彩色图像的最后conv层。相对于DECONV和Pixel Shuffle, ColorU的效率要高得多，其所需学习参数的比率约为1/3。

图2所示。DECONV和Pixel Shuffle着色模块的概述:它们共享了主要结构，只是在最后的上采样层有所不同。剩余块的详细信息显示在底部虚线框中。

图3所示。ColorU架构。输入图像经过3个下采样块(ColorDown)， 2个上采样块(ColorUp)和最后一个上采样着色块(ColorOut)。对于每个块，报告输入和输出通道的数量。

4.实验

A.数据集

1)胸片:我们在CheXpert[4]和ChestX-ray14[32]两大胸片数据集上进行实验。CheXpert训练集包含65,240名患者的224,316张胸片，而ChestX-ray14包含32,717名患者的112,000张胸片。两个数据集被标记为存在或不存在的14独立的观察开始从放射学报告使用两个不同的半自动标签。我们在这里重点关注五个病理线索:肺不张、心脏肿大、实变、水肿和胸腔积液，这些在两个数据集中都很常见，并且在文献[4]中可以找到相关结果。CheXpert ground truth将报告和标记过程中的不确定性考虑在内，将每个观测值指定为三个值之一:积极、消极和不确定。在训练过程中，[4]比较了处理不确定标签的不同策略:将不确定值转换为正(UOnes)或负(u - 0)，或忽略不确定样本(U-Ignore)。对于每一项观察，我们根据先前的结果采用最佳的治疗方案:肺不张(U-Ones)、心脏肥大(u - 0)、实变(u - 0)、水肿(UOnes)和胸腔积液(U-Ones)。

2) MURA: MURA[5]包括约1.2万名患者的40561张多面骨骼肌x线照片，显示了身体各种部位的正常或异常。在我们的分析中，我们只考虑了一个解剖部分——肩部，对应8,379张图像(2,694例患者)。

b .实验装置

我们在两个基线网络上做了实验，我们架构的E模块分别对应于ResNet18和DenseNet121。在CheXpert和ChestX-ray14上工作时，输出层是五个二进制头(C = 5)的组合，每个观测一个。对于MURA，任务简化为C = 1的简单二值分类问题。在训练过程中使用标准的数据增强，将非正方形图像随机裁剪并重新缩放到网络输入大小(320×320)，然后随机旋转- 10◦- 10◦)和缩放(0% - 10%)，概率为75%。所有的图像用CheXpert上计算的平均值和标准差进行归一化。所有的网络被训练直到收敛使用SGD优化器与一个周期策略[33]。学习率(LR) finder被用来确定每个网络[34]的最大学习率。每4800次迭代都节省了权重，并且使用了具有最高验证性能的检查点。

c .评价

使用ROC曲线下面积(AUC)评估其表现。对于多标签数据集(CheXpert和ChestXray14)，计算每次观察的AUC，然后用平均AUC来总结性能。对于每个配置，以不同的随机初始化方式重复训练三次。采用配对t检验对不同迁移学习程序进行比较。我们使用benjaminii - hochberg程序[35]控制了多重假设检验;调整后的p值< 0.05为差异有统计学意义。

图4所示。针对ResNet18和DenseNet121架构优化的不同着色模块的输出。在最上面一行中，只有着色模块C被训练，冻结了编码器e。最下面一行显示了所有层端到端的微调后的结果。

All the colorization modules are available at https://gitlab.com/grains2/DeepMedicalColorization.