Multi-scale Perception and Feature Refinement Network for multi-classsegmentation of intracerebral

基于多尺度感知和特征细化网络的脑出血CT图像多类分割

摘要：

脑出血对人类健康和福祉构成严重威胁。CT图像中血肿的自动分割可以为医生提供必要的诊断协助，并确保改善患者的治疗和康复效果。现有的脑出血分割方法主要集中在识别出血区域，不能准确区分和勾勒出不同类型的血肿。然而，不同类型的出血在灰质水平和形状方面表现出高度的相似性，血肿的规模也可能有很大差异。为了解决这个问题，我们提出了一个多尺度感知和特征细化网络(MPFR-Net)来自动分割脑实质内和脑室内出血。具体而言，我们提出了一种多尺度感知模块(MPM)，该模块由不同层次特征的集成以及局部和全局多尺度分支组成。MPM允许有效地提取多尺度特征，并建立目标和背景之间的远程关系。此外，我们提出了一个特征细化模块(FRM)来细化下采样到深层后丢失的模糊细节信息，同时补充来自浅层特征的小目标信息。为了提高我们方法的临床适应性，我们进一步收集了来自多家医院的608例患者病例，构建了一个多中心数据集，称为ICH-Seg，其中每个病例都包含肺内和脑室内出血。从定量和可视化结果来看，MPFR-Net在私有和公共数据集上都优于以前的方法，显示出对脑出血的分割和潜在的临床应用前景。

1. 介绍

脑出血是一种严重的脑血管疾病，可导致严重的神经功能缺损。与其他疾病不同，它的发病几乎是立即和危险的，通常没有任何警告信号。

因此，脑出血对诊断的实时性和准确性提出了更高的要求。更及时、更全面地评估患者的病情有利于制定有效的诊断和治疗计划。计算机断层扫描(CT)成像技术以其速度快、成像质量好、图像相对清晰等优点，已成为脑出血诊断的临床金标准。这一特性使得CT图像与病灶高度一致

脑出血的及时诊断要求。随着计算机技术的快速发展，临床医生越来越多地利用计算机辅助诊断(CAD)技术对医学图像进行自动分析和评价，以辅助患者的诊断和治疗。

近年来，由于深度学习能够自动学习海量数据集的特征，深度学习在自然语言处理、计算机视觉和医学图像分析等领域取得了重大进展[2-4]。深度学习模型包括U-Net及其变体[5-8]、基于注意力的网络[9,10]和基于变压器的网络[11-13]，最近在医学图像分割方面取得了突破。同样，深度学习也有提供了ICH分割[14-17]方面的强大技术支持。这些深度学习方法可以自动检测和分割医学图像中的目标区域，减少了人工干预的需求，显著提高了分割效率，同时降低了人为错误的风险。

深度学习技术自动分割颅内出血已成为未来不可避免的趋势。临床上，颅内出血可分为不同类型，例如脑实质内出血（IPH）和脑室内出血（IVH），等等。这两种类型的出血具有不同的病理机制、临床表现和治疗选择。自动分割IPH和IVH对于及时制定适当的治疗计划和评估预后至关重要。然而，在CT图像中，IPH和IVH不容易区分。一方面，脑实质内出血和脑室内出血具有相似的灰度值和低对比度[18]，使得区分具有挑战性并导致边界模糊[19]，如图1的第1列所示。另一方面，血肿的外观是多变的，包括血肿区域的大小和形状，如图1的第2列和第3列所示。此外，扫描不成功可能会在CT图像中引入大量噪音和伪影，使颅内出血分割具有挑战性，如图1的第4列所示。

为了应对这些挑战，我们提出了一个多尺度感知和特征细化网络（MPFR-Net），以考虑CT图像的特点和两种类型出血的特点，实现IPH和IVH的准确分割。首先，我们提出了一个多尺度感知模块（MPM），利用全局和局部分支从不同级别的综合特征中提取多尺度特征，并在目标与背景之间建立长距离关系。然后，我们提出了一个特征细化模块（FRM），重点关注和探索深度多尺度融合特征和浅层特征之间的共同点和差异。通过使用自适应融合来加权共同特征和不同特征，选择适当的特征来细化在下采样到深层时丢失的模糊细节信息，同时补充浅层特征中的小目标信息。

图1。CT图像示例（第1行），显示不同的分割挑战情况和相应的地面实况（第2行），例如连接的出血（第1列），不同尺度的出血（第2列和第3列），以及图像噪音（第4列）。粉色和蓝色分别表示脑室内出血和脑实质内出血。

总的来说，本文的主要贡献可以总结如下：

• 我们提出了MPFR-Net，用于基于CT扫描的IPH和IVH分割，它利用建立长距离关系、多尺度特征和特征细化来有效解决不同尺度出血和不同类型极其相似血肿的问题。

•我们提出MPM从全局和局部分支的综合特征中提取多尺度特征，并建立目标和背景之间的远距离关系。然后，我们提出FRM来细化下采样到深层后的模糊细节信息，并补充深度多尺度融合特征缺失的浅尺度特征。

•为了推进脑出血多分类分割的研究和发展，我们创建了一个新的多中心数据集(命名为ICH-Seg)，该数据集由608例临床病例的18386个CT切片组成。每个病例都有IPH和IVH，并且每个病例的血肿都用像素级注释进行标记。

•我们进行了广泛的实验，将MPFR-Net与11种最先进的分割方法在私有和公共数据集上进行比较，结果表明MPFR-Net实现了新的最先进的性能。

2. 相关工作

2.1. 传统方法

在传统的分割方法中，一些多尺度分割算法可以得到很好的分割效果。Tang等人提出了多尺度梯度矢量流蛇算法，该算法将主动轮廓建模和梯度矢量流技术相结合，提高了船舶边界定位的精度。这种方法特别适用于活体显微镜图像，并擅长于精确跟踪血管边界。Choi等人提出了以小波域隐马尔可夫模型为核心的图像纹理分割HMTseg算法。该算法能够有效地捕获纹理信息，提供准确的分割结果。同样，经过几十年的探索和研究，基于传统方法的脑出血分割也取得了一定的研究进展，主要有基于阈值的方法[22]、形态学操作、区域生长[23]、水平集模型[18,24,25]和聚类方法[26,27]或多种传统分割方法的有机结合[28-30]。虽然基于传统方法的脑出血分割可以在一定程度上解决问题，但一方面，它需要大量的领域专业知识和人工专家的干预，如识别和分析出血特征以降低数据的复杂性，并对估计结果进行后处理以进行准确诊断。此外，它们还不够健壮，不能满足临床标准，其实际性能仍有待提高。

2.2. 深度学习方法

由于其强大的自动提取能力，深度学习已被应用于医学图像处理的各个领域。

Mu等人提出了PGPLP[7]，这是一种新型的深度全编解码器卷积网络，用于从胸部CT图像中分割COVID-19肺部感染区域。Mu等人提出的ARUNet[8]是一种采用微分预处理和几何后处理的注意残差U-Net架构。虽然上述网络在各自的应用中都取得了良好的效果，但我们的模型与这些方法之间存在一些根本性的差异。(1)这些方法都是基于CNN。我们的模型结合了Transformer和CNN。(2)这些方法使用类似于U-Net[5]的渐进上采样解码器，而我们模型的解码器以并行方式执行融合。

近年来，深度学习在脑出血分割中也发挥了重要作用。IsIam等人提出了基于空卷积神经网络和超列特征[31]的ICHNet。

Kuang等人提出了一种Semi-D-Unet[32]模型，该模型采用加权交叉熵结合三个模型对病灶区域进行分割，模型复杂度较高，相应的训练速度较慢。Kuo等人提出了一种用于同时分割和分类任务的神经网络架构。以Dilated ResNet38为主干，构建像素预测分支和块分类分支。这种方法允许他们一起执行这些任务。Kwon等人提出了一种Siamese U-Net，通过结合个体CT图像与健康模板之间学习到的图像特征之间的差异，对ICH进行更准