【论文阅读笔记】Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion

Chen C, Dou Q, Jin Y, et al. Robust multimodal brain tumor segmentation via feature disentanglement and gated fusion[C]//Medical Image Computing and Computer Assisted Intervention–MICCAI 2019: 22nd International Conference, Shenzhen, China, October 13–17, 2019, Proceedings, Part III 22. Springer International Publishing, 2019: 447-456.

【核心思想】

通过特征解耦和门控融合技术，提高了在部分成像模态缺失时的分割准确性。方法是将输入的多种成像模态解耦为模态特定的外观代码和模态不变的内容代码，然后将它们融合为一个共享表示。这种方法增强了面对缺失数据时分割过程的鲁棒性，并在多种缺失模态的场景中显示出显著的改进。论文还使用了BRATS挑战数据集来验证方法的有效性，并展示了与当前最先进方法相比的竞争性能。

【网络结构】

模型关键在于它采用了创新的特征解耦和门控融合技术。

• 特征解耦部分：负责将不同成像模态（如MRI）的数据分解为模态特定的外观特征和跨模态的内容特征。

  对于外观代码，并将其设置为8位向量，假设其先验分布是中心各向同性高斯$N(0,I)$，使用KL散布逼近。

  对于模态不变性的内容编码，将它们融合成表达肿瘤基本语义内容的集成表示。为保证解耦是有效性，所获得的内容表示 $z$ 应该能够在给定某种模态的任何外观代码的情况下重建原始图像。为了鼓励这种重建能力，论文通过引入一组特定于模态的解码器来设计伪循环一致性损失（使用 L1-Norm 来减轻生成的图像变得模糊的情况。

  为了模拟缺失模态，使用了modality 级别的dropout，也就是图中的${\delta }_i$,这种思路在后续很多的论文中被采用，如mmFormer(MICCAI,2022),MMMViT(Biomedical Signal Processing and Control,2024)…

• 门控融合技术：用于将这些解耦后的特征有效地结合起来，形成一个统一的特征表示，用于后续的肿瘤分割任务。在缺失模态场景下，如果不仔细考虑，融合表示会受到来自空输入通道的噪声信息的影响，那么模型的性能将不可避免地下降。现有方法使用平均或最大操作来解决这个问题。然而，平均操作使每种模态贡献相等，这可能会忽略某种模态的高信息特征。相反，最大操作只保留最大的响应，忽略所有其他的信息。本文的方法动态地学习一个权重图来门控每个内容代码的信息规模，具有逐个体素的灵活性。然后，来自各个模态的门控内容被融合以形成集成的表示。

  具体来说，将来自每个模态的解耦的内容编码连接起来，然后输入到输出通道为M的卷积层。通过 sigmoid 激活，获得门控权重矩阵 G，它可以分为 M 个独立的 {g1, …, gM} 映射，每个模态对应一个映射。接下来，我们通过逐元素乘法将内容编码重新加权。这些输出 被连接并转发到 1 × 1 卷积，然后是 Leaky ReLU 激活。在训练过程中随机将一些内容编码设置为0以增强模型对缺失数据的鲁棒性。

  这种方法的优势在于它能够更好地处理多模态数据中的不确定性和不完整性，提高分割准确率。

• encode和decoder:使用3D-Unet。

【实验结果】

• 对比其他方法

  

• 消融分析

  可以看出解耦相对来说更重要