【论文阅读笔记】MimicNet: Mimicking manual delineation of human expert for brain tumor segmentation from mul

Liu Z, Cheng Y, Tan T, et al. MimicNet: Mimicking manual delineation of human expert for brain tumor segmentation from multimodal MRIs[J]. Applied Soft Computing, 2023, 143: 110394.

【论文核心思想概述】

本文介绍了一种名为MimicNet的新型深度多模态网络，其核心思想是模仿人类专家在多模态磁共振成像（MRI）中手动勾画脑瘤的过程。MimicNet通过模拟人类专家在临床场景中遵循的规则，弥补了现有深度神经网络在脑瘤分割中忽略这些规则的不足。文章提出了三个主要的模拟手动注释规则，分别为：顺序分割三个区域的子任务引入、为每个子任务融合精细的模态注意力模块以模拟区域感知的多模态融合，以及使用深度特征传播模块进行多尺度背景利用和深层级联注意力模块进行位置信息利用。此外，文中还采用了新型的课程损失训练方法和分层训练方法，以减少数据集分布导致的模态内域偏移。MimicNet在三个公开数据集上进行了评估和比较，展示了其在脑瘤分割方面的先进性能。

【本文中提到的医生遵循的规则】

在论文1.1节 “Clinical relevance” 中，作者详细讨论了脑肿瘤的手动分割在临床实践中的重要性和应用。这一部分强调了专家在手动分割肿瘤时遵循的特定思路。以下是这一节的主要要点概述，启发了后续方法的设计：

1. 整体肿瘤（WT）区域的分割：专家首先在T2图像上分割出整体肿瘤区域，同时参考FLAIR图像。这个区域包括水肿（ED）、增强（ET）和坏死（NCR）/非增强（NET）亚区。

2. 肿瘤核心（TC）区域的分割：接着，在WT区域内，根据T1对比增强（T1ce）图像中的高信号和低信号（与T1图像和T1ce图像中的健康白质相比）来界定肿瘤核心区域，该区域由ET和NCR/NET亚区组成。

3. 增强肿瘤（ET）区域的分割：最后，通过在T1ce图像上阈值化高信号区域，在TC区域内勾勒出ET区域。

4. 临床规则的提取：基于上述手动分割过程，作者提取了三个主要规则：

   • 顺序分割（Sequential Segmentation）：专家在手动分割肿瘤时，通常会按顺序进行，从外部肿瘤边界开始，逐步向内部肿瘤边界进行。这意味着他们首先识别整体肿瘤（WT），然后是肿瘤核心（TC），最后是增强肿瘤（ET）区域。
   • 区域感知的多模态融合（Region-aware Multimodal Fusion）：在分割每个区域时，专家利用来自多模态MRI的互补信息。例如，在WT的分割中主要利用T2和FLAIR图像，而在ET的分割中主要依赖T1和T1ce图像。
   • 先前分割知识的利用（Prior-segmentation Knowledge Exploitation）：在分割过程中，专家会利用之前分割区域的位置信息。此外，在分割前一个区域时，专家会仔细观察其内部结构，同时记住下一个区域的多尺度上下文（如边缘、纹理、形状等），这些记忆会作为后续区域分割的指导。。

【本文提出的网络结构】

• Backbone of DFS-UNet for individual region segmentation

  本文使用nnUNet作为基础结构，图片很清楚，不具体解释

  

• FGMA module for multimodal fusion：在DFS-UNet的每个尺度跳跃连接处，FGMA模块被集成为残差块以利用多模态相关性。它实现了特定于模态的特征在空间和通道上的沿着融合。

  这个模块的主要目的是在脑肿瘤分割网络（DFS-UNet）中有效地融合来自不同MRI模态的信息。以下是FGMA模块的主要特点：

  1. 空间和通道融合：FGMA模块通过空间和通道两个维度来实现不同模态特征的融合。这样的设计允许网络在每个模态的特定特征中捕捉有用信息，并通过空间和通道注意力机制加强这些信息。
  2. 空间注意力融合（SAF）子模块：这个子模块的任务是通过推断每种模态的位置权重来实现模态特定特征的空间融合。它使用了GridAtt块来动态计算由编码器提取的每种模态特征的权重图。
  3. 通道注意力融合（CAF）子模块：类似地，CAF子模块生成每种模态特定特征的通道权重，这是基于捕捉不同通道之间的相互关系来实现的。CAF子模块同样利用了注意力机制来加强特定通道的特征。

• Prior-seg knowledge exploitation

  

  以下是该部分的主要内容：

  1. 多尺度特征利用（Multi-scale Feature Exploitation）：作者提出，在初级层次的DFS-UNet中提取的特征（如边缘、角点和渐变）相对局部化且与区域类型关联较小。因此，TC和ET子任务可以直接重用来自WT子任务的精细尺度特征。这样的操作有助于减少模型冗余。作者特别指出，将多编码器的前两个块共享给三个DFS-UNet，以实现这一目的。
  2. 深度特征传播（DFP）模块：考虑到直接重用粗尺度特征可能面临的挑战，作者提出了一个DFP模块来重用前一个子任务中最有价值的粗尺度特征。DFP模块通过生成一个相关图来表明下一个区域的特征与前一个区域的特征之间的相关性，并传播最相关的激活值以增强后续区域的表示。
  3. 位置信息利用（Location Information Exploitation）：作者进一步说明了如何通过利用之前分割区域的位置信息来指导后续区域的分割。例如，通过在两个子任务之间传播位置信息，可以提高分割的精确度和连贯性。

• Curriculum loss function：

  作者介绍了为MimicNet模型设计的一种新型损失函数——课程损失（Curriculum Loss）函数。这个函数的主要目标是为了解决因模型结构复杂而导致的训练难题。以下是该部分的主要内容：

  1. 逐步学习的概念：课程损失函数基于课程学习（Curriculum Learning）的概念，即先从简单任务开始训练，逐渐过渡到更复杂的任务。在MimicNet模型的上下文中，这意味着在训练过程中逐步从简单的子任务（如分割整体肿瘤WT）转移到更具挑战性的子任务（如分割肿瘤核心TC和增强肿瘤ET）。
  2. 联合训练而非分阶段训练：课程损失函数允许对模型的不同部分进行联合训练，而不是分阶段单独训练每个子任务。这样的训练方法有助于减少多阶段课程学习训练的复杂性，使训练过程更加高效和直接。
  3. 减轻内模态域偏移：作者还考虑到了由于数据集分布导致的内模态域偏移问题，并采用分层训练方法来减轻这种偏移。分层训练策略基于肿瘤等级，目的是进一步提高模型的性能。

  总结来说，课程损失函数是MimicNet模型的一个关键创新点。通过这种方法，模型可以更有效地学习并适应不同复杂度的分割任务，从而在脑肿瘤分割领域中实现更好的性能。这种逐步学习的方法有助于模型更好地理解和适应脑肿瘤分割任务的复杂性，从而提高最终分割结果的准确性和一致性。

• Stratified training：介绍了一种针对MimicNet模型的分层训练方法。这种训练方法旨在解决脑肿瘤分割任务中的内模态域偏移问题。以下是该部分的主要内容：

  1. 解决内模态域偏移：内模态域偏移指的是由于肿瘤等级和严重程度的显著变异性而导致的数据集内部差异。这些差异可能影响模型的泛化能力和分割性能。分层训练方法通过根据肿瘤等级对训练数据进行分层，来减轻这种域内差异。
  2. 训练集的细分：在分层训练中，训练集被细分为不同的子集，每个子集对应于不同的肿瘤等级。这种方法允许模型更专注地学习特定肿瘤等级的特征，从而提高对各种肿瘤类型的分割准确性。
  3. 提高模型性能：通过分层训练，模型能够更有效地学习并适应不同类型肿瘤的特征。这不仅有助于提高肿瘤核心（TC）和增强肿瘤（ET）区域的分割性能，也能在一定程度上提高整体肿瘤（WT）区域的分割性能。
  4. 详细的实验结果：文中还报告了分层训练方法的详细实验结果，以展示其在解决内模态域偏移问题方面的有效性。结果显示，这种方法在提高脑肿瘤分割的准确性方面是有益的。

  总体来说，3.5节中提出的分层训练方法是对MimicNet模型的一个重要补充。这种方法通过针对不同肿瘤等级进行特定的训练，有助于模型更准确地分割各种类型的脑肿瘤，并提高其在实际临床应用中的有效性和可靠性。

【局限性】

• 网络结构特别复杂，计算效率很低，很难落地实用
• 未开源，很多细节无法知晓？
• 单纯模拟人类专家思维方式，从而串行进行分割过程是否合理？