[论文阅读笔记]Learning Unified Hyper-network for Multi-modal MR Image Synthesis and Tumor Segmentation wit

Yang H, Sun J, Xu Z. Learning Unified Hyper-network for Multi-modal MR Image Synthesis and Tumor Segmentation with Missing Modalities[J]. IEEE Transactions on Medical Imaging, 2023.【开源】

缺失模态合成、分割端到端完成。

本文的主要创新点可以概括为以下几个方面：

1.统一的超网络架构：文章提出了一个统一的超网络（Unified Hyper-network）架构，用于处理多模态磁共振成像（MR）图像的合成和肿瘤分割任务。这种架构能够同时处理多种不同的任务，这在以往的研究中不常见。

2.处理缺失模态的能力：该网络特别设计用于处理在某些模态下缺失数据的情况。这是医学成像领域的一个常见问题，而本文提出的方法能够有效地处理这种情况，这在以往的研究中是一个重要的进步。

3.对抗性共同特征约束（Adversarial Common Feature Constraint）：文章引入了一种新的约束机制，即对抗性共同特征约束，用于改进图像合成的质量。这种方法通过确保合成图像在不同模态之间保持关键特征的一致性，来提高合成图像的真实性和准确性。

4.图注意力融合块（Graph-attention-based Fusion Block）：文章还提出了一种基于图注意力的融合技术，用于改进多模态数据的特征融合。这种方法可以更有效地处理来自不同模态的信息，从而提高最终图像合成和肿瘤分割的性能。

综合性能评估：文章不仅提出了新的方法，还对其在多模态MR图像合成和肿瘤分割任务中的性能进行了全面评估。这包括与现有技术的比较，以及在不同缺失模态情况下的性能评估，显示了其方法的有效性和鲁棒性。

摘要：精确分割脑肿瘤在临床评估和治疗计划中至关重要，需要多种MR模式提供补充信息。然而，由于实际限制，在真实情况下可能缺少一种或多种模式。为了解决这个问题，现有方法需要训练多个网络或一个统一的固定网络以处理各种可能的缺失模式情况，这导致高计算负担或次优性能。本文提出了一种统一和自适应的多模态MR图像合成方法，并将其应用于具有缺失模式的肿瘤分割。基于多模态MR图像分解为共同和模态特定特征，设计了一个共享超编码器，将每个可用模态嵌入到特征空间中，一个基于图注意力的融合块来聚合可用模态的特征到融合特征，和一个共享超解码器用于图像重建。本文还提出了一种对抗性共同特征约束，以使融合特征位于共同空间中。对于缺失模式分割，首先使用我们的合成方法进行特征级别和图像级别的完成，然后基于完成MR图像和提取的共同特征进行肿瘤分割。此外，我们还设计了一个基于超网络的调制模块，以自适应地利用真实和合成模态。实验结果表明，提出的方法不仅可以合理地合成多模态MR图像，还可以在具有缺失模式的脑肿瘤分割方面实现最佳性能。

• UNIFIED MULTI-MODAL MR IMAGE SYNTHESIS

  首先使用一个共享的超编码器从每个输入模态中单独提取深度特征，然后这些特征进行交互和聚合，通过基于图注意力的融合块融合为特征。设计了一种对抗共同特征约束(Adversarial Common Feature Constraint是一种约束，它强制将通过超编码器和基于图注意力的融合块提取的融合特征（fused features）放入由不同模态共享的公共空间中。这样可以确保多模态MR图像合成的结果在所有模态之间保持一致性。)，将从不同输入模态组中提取的融合特征约束在一个共同特征空间内，对共同解剖结构进行建模。最后，将这些共同特征输入共享的超解码器重构输出模式。通过这种策略，多模态MR图像合成网络可以根据可用的模态自适应地合成缺失的模态。

  超编码器/超解码器分别是一个编码器/解码器，其参数由以模态码(one-hot用于标识缺失模态)作为输入的模态调制器调制。

  • Hyper-Encoder and Hyper-Decoder

    由backbone特征提取网络和modality modulator组成。modality modulator模态调制器是一个以模态码为输入的多层感知器(MLP)，调制器中的每一层依次对应于backbone编/解码器中的实例归一化层，并对其参数进行调整。即模态调制器中各层的输出馈送到编/解码器中相应的in层，作为该层的仿射参数$\gamma$和$\beta$。假设$\mu (x)$和$\sigma (x)$是输入特征$x$的均值和标准差，则由调制器调谐的IN层的输出可以写成$\tilde{x}=\gamma \frac{x-\mu (x)}{\sigma (x)}+\beta$ 。

  • Graph-attention-based Fusion Block

    每个图节点对应于每个模态的特征，节点的数量动态地适应于可用模态的数量。图边对每对可用模态之间的连接进行建模。每个节点通过模态码和模态可用性向量调制的基于注意的消息传递操作，从其他节点借用互补信息，然后将更新后的节点特征进行平均融合。

    

  • Adversarial Common Feature Constraint

    在提取融合特征时，引入了一个额外的分类器C来预测每个模态是否可用。在分类器中使用梯度反转层GRL（在正向传播过程中相当于恒等连接，在反向传播过程中，将该参数乘以-1，使得梯度方向反转），这个约束反过来强制分类器C不能区分这些融合特征的形式，从而迫使超编码器E和融合块U在一个共同的特征空间内产生融合特征。

• MISSING-MODALITY MR IMAGE SEGMENTATION

不仅将图像补全任务作为正则化，将补全后的MR图像作为分割的输入，还将补全过程中提取的公共特征作为分割的额外输入。

• 模型的硬件资源和数据集

  3090单卡，BraTS 2019和2018数据集

模型性能

值得改进点：缺失模态可以通过

训练由模型自动判定，实现完全端到端