【论文阅读笔记】Multi-modal brain tumor segmentation via disentangled representation learning and region-awa

Zhou T. Multi-modal brain tumor segmentation via disentangled representation learning and region-aware contrastive learning[J]. Pattern Recognition, 2024: 110282.

本文是杭州师范大学周同雪博士脑瘤分割系列最新论文（国家自然科学基金资助No. 62206084），之前已经有多篇发表在一区。

【核心思想】

本文的核心思想是提出了一种新型的多模态脑肿瘤分割网络，通过解耦表征学习和区域感知对比学习来实现。具体来说，作者设计了一种多模态特征融合模块，用于融合不同磁共振成像(MRI)模态并选择性地提取有用的特征信息进行肿瘤分割。随后，通过解耦表征学习方法将融合的特征表示分解为对应于目标肿瘤区域的多个因子。此外，提出了一种区域感知的对比学习方法，以进一步引导网络学习与目标区域相关的特征表征，从而提高分割精度。这项研究在公开数据集BraTS 2018和BraTS 2019上进行了定量和定性实验，结果证明了所提出策略的重要性，所提出的方法在多项性能指标上均优于其他最先进的方法。此外，本文还探讨了提出方法的复杂性分析，验证了其模型复杂性的竞争力。总体而言，本文为脑肿瘤的自动分割提供了一种有效的深度学习方法，并展示了多模态融合和解耦表征学习在医学图像分析中的应用潜力

【主要贡献】

1. 多模态特征融合模块：提出了一个新型的多模态特征融合模块，用于有效地融合来自不同MRI模态的特征，并选择性地提取对肿瘤分割有用的特征信息。
2. 解耦表征学习：提出了一种新颖的解耦表征学习方法，能够将融合的特征表示分解为多个与目标肿瘤区域相对应的因子，从而帮助网络更有效地提取用于多类别分割问题的特征表征。
3. 区域感知的对比学习：引入了一种区域感知的对比学习策略，进一步指导网络学习与目标区域相关的特征表征，以增强分割精度。
4. 实验验证：在BraTS 2018和BraTS 2019公开数据集上进行的定量和定性实验，证明了所提出策略的有效性。所提出的方法在多项性能指标上超过了其他最先进的方法。
5. 模型复杂性分析：进行了模型复杂性分析，证明了所提方法在计算效率和性能方面与其他先进方法相比具有竞争力。

【解耦表征学习的背景知识】

本文2.1节进行了相应阐述，这里总结如下。

1. 概念：解耦表征学习是一种深度学习方法，旨在将数据的特征表示分解为多个独立的因子。这些因子各自对应数据的某些有意义的表征，如形状、大小或位置等。
2. 目的：该方法的主要目的是提高特征表征的可解释性和有效性。通过将复杂的特征表示分解为更简单、更独立的组成部分，模型能够更好地理解和处理数据，特别是在复杂的应用场景中。
3. 应用：解耦表征学习在多个领域已经显示出巨大的潜力，包括语音识别、图像分割、图像合成和对象识别。在医学图像分析中，这种方法尤其有用，因为它可以帮助模型更有效地理解和处理复杂的医学图像数据。
4. 在医学图像分析中的应用：作者指出，最近解耦表征学习在医学图像分析中表现出巨大的潜力。例如，在肝脏分割、心脏图像分析和跨模态心脏图像分割中的应用。在这些应用中，解耦表征学习帮助网络学习到与具体医学任务（如病变分割或疾病诊断）直接相关的特征，同时忽略那些不相关或冗余的信息。

挑战与创新：尽管解耦表征学习在提取特征方面非常有效，但现有方法通常不考虑所学习特征的语义用途，特别是在涉及多个目标分割区域的情况下。为了解决这个问题，作者提出了将学到的特征表示分解为与目标肿瘤区域相对应的多个因子，使网络能够提取对分割任务更有意义的特征。

总体来说，2.1节强调了解耦表征学习在提高特征表示效果和可解释性方面的重要性，并展示了它在处理复杂的医学图像数据，尤其是脑肿瘤分割方面的潜力。这种方法通过分解和重构数据的内在特性，使得深度学习模型能够更有效、更精确地执行特定的医学图像分析任务。

【对比学习的背景知识】

本文2.2节进行了相应阐述，这里总结如下。

1. 概念：对比学习是一种深度学习技术，旨在通过对比相似和不相似的数据对来学习特征表示。在这种方法中，模型被训练以拉近相似数据对（正样本）之间的距离，同时推远不相似数据对（负样本）之间的距离。

2. 目的：对比学习的主要目的是学习区分性强的特征表示，这些特征对于下游任务（如分类、分割等）是有用的。通过这种方式，模型能够更好地理解数据中的关键特征和模式。

3. 在医学图像分析中的应用：对比学习在计算机视觉领域已经取得了显著的成功，特别是在图像识别、目标检测等任务中。在医学图像分析中，这种方法可以帮助模型学习更加区分性的特征，从而提高例如肿瘤分割等任务的准确性。

4. 文中的创新：作者提出了一种区域感知的对比学习方法，用于脑肿瘤分割任务。这种方法旨在提高网络在提取与特定肿瘤区域相关的特征时的准确性和效率。通过这种方法，网络能够更准确地区分不同的肿瘤组织类型，如肿瘤核心、增强肿瘤等，这对于精确的肿瘤分割至关重要。

5. 方法的实现：在实现上，作者采用了一种对比损失函数，这种损失函数鼓励模型产生的特征表征在相似区域内紧密，而在不同的区域间相隔较远。这有助于网络更好地理解和区分不同类型的脑肿瘤组织，从而提高分割的准确性和可靠性。

6. 重要性：这种区域感知的对比学习方法在处理医学图像，尤其是在进行复杂和精细的分割任务时，显示出其重要性。它有助于改善模型的分割性能，特别是在处理高度异质性的肿瘤组织时，这在传统方法中是一个挑战。

总体而言，2.2节强调了对比学习在提高医学图像分析，特别是脑肿瘤分割中的作用。通过区域感知的对比学习方法，可以有效提升模型在复杂医学图像任务中的性能，尤其是在区分不同类型肿瘤组织方面。

【提出的方法】

• 网络架构：基于3D U-Net的多编码器和多解码器架构，很常规，不赘述。

• 多模态特征融合模块：就是使用自注意力机制进行，很常规，不赘述。

• 解耦表示学习：将目标肿瘤区域分割为三种脑肿瘤区域：NET&NCR、增强型肿瘤和水肿区域。基于此，提出了一种新的解耦表示学习方法，通过将特征分解为目标肿瘤区域相关的特征。具体来说，融合特征通过卷积操作分解为三个独立特征{$f_a,f_b,f_c$}，其中$f_a$、$f_b$和$f_c$分别对应于目标肿瘤区域NET&NCR、增强型肿瘤和水肿区域。此外，T1和Tlc模态可以轻易检测肿瘤核心区域，包括NET&NCR和增强型肿瘤区域。Flair和T2模态可以轻易展示所有肿瘤区域，特别是水肿区域。因此，作者提出结合这些模态。通过concat和卷积操作，T1模态和T1c模态的特征被融合，得到的特征$f_{12}^{\prime }$包含了丰富的与NET&NCR和增强型肿瘤区域相关的特征信息。然后，将特征$f_{12}^{\prime }$和$f_a$进行连接，并输入到解码器$D_1$中，以获得NET&NCR的分割。同样，将特征$f_{12}^{\prime }$和$f_b$连接并输入到解码器$D_2$中，以产生增强型肿瘤的分割。采用相同的操作，可以获得包含水肿区域相关特征的特征$f_{34}^{\prime }$。之后，将$f_{34}^{\prime }$与特征$f_c$结合，并输入到解码器$D_3$中，以产生水肿区域的分割。最后，对这些解码器进行逐像素求和，以获得最终的分割结果。通过这种方式，网络可以学习与多类肿瘤相关的特征表示。

• 区域感知对比学习：首先，对不同肿瘤区域相关特征（例如NET&NCR、增强型肿瘤和水肿区域）进行全局平均池化处理。然后，使用对比损失函数来强化相似特征对的相似性，同时减小不相似特征对的相似性。这种方法有两个好处：一方面，它可以帮助网络学习与特定肿瘤区域相关的特征；另一方面，它可以提高随后的分割性能。通过这种方法，网络能够更准确地学习和提取与多类肿瘤分割相关的特征表示。

【数据集】

BraTS 2018和2019

【实验结果】

• 消融分析

  去除解耦表示学习和区域感知对比学习作为Baseline：

  

• 对比SOTA

  

• 模型复杂度，通过模型训练的GPU和显存衡量

  

【一些值得借鉴的地方】

解耦表示学习后再进行对比学习，比直接使用原始特征或图片对比学习开销小。

但是论文中对融合特征直接使用卷积分离解耦，是否过于简单粗暴，分离出的特征是否是解耦特征，仅仅通过对比损失引导分离是否合理？