TISS：使用级联双任务网络和误差预测一致性的脑肿瘤图像合成和分割

TISS：使用级联双任务网络和误差预测一致性的脑肿瘤图像合成和分割

Neurocomputing 544 (2023) 126295

背景

从医学图像中准确分割脑肿瘤对于诊断和治疗计划很重要，并且通常需要多模式或对比增强图像。然而，在实践中，患者的某些模式可能不存在。综合缺失的模态有可能填补这一空白并实现高分割性能。现有的方法通常将合成和分割任务分开处理或联合考虑，但没有对复杂的联合模型进行有效的正则化，导致性能有限。我们提出了一种新的脑肿瘤图像合成和分割网络（TISS-Net），该网络可以高性能地获得脑肿瘤的合成目标模态和端到端分割。首先，我们提出了一种同时获得合成目标模态和粗分割的双任务正则化生成器，该生成器利用具有感知正则化的肿瘤感知合成损失来最小化合成和真实目标模态之间的高级语义域差距。基于合成图像和粗分割，我们进一步提出了一种双任务分割器，该分割器同时预测精细分割和粗分割中的误差，其中引入这两个预测之间的一致性进行正则化。我们的TISS-Net通过两个应用进行了验证：合成FLAIR图像用于整个神经胶质瘤分割，合成对比增强T1图像用于前庭神经鞘瘤分割。实验结果表明，与现有模态的直接分割相比，我们的TISS-Net大大提高了分割精度，并且它优于最先进的基于图像合成的分割方法。

贡献

难点：最近提出了端到端的医学图像合成和分割方法[36]。然而，由于以下原因，从合成图像中获得准确的分割结果仍然具有挑战性：首先，合成图像和真实目标模态之间存在域差距，导致基于合成图像的分割不如使用真实目标模态的分割[32]。其次，端到端的合成和分割模型变得比独立模型更复杂、更深入，并且具有更高的过拟合风险，这需要更有效的正则化方法来保持测试期间的性能。然而，在现有的工作中**，端到端模型的正则化**很少被深入探索。

1. 首先，为了处理脑肿瘤分割的缺失模态，我们提出了一种新的基于级联双任务架构的脑肿瘤图像合成和分割网络（TISS-Net），用于端到端训练和推理，其中合成和分割模型与几种新的高级正则化策略协同学习。
2. 其次，我们引入了感知分割的目标模态图像合成，其中使用粗略分割作为辅助任务来正则化合成任务，并引入具有感知正则化的肿瘤感知合成损失来在缺失模态中生成有利于分割的图像。
3. 第三，我们提出了一种新的误差预测一致性损失来提高分割性能，其中双任务分割器使用两个分支来同时预测精细分割和粗略分割中的误差，并引入这两个预测之间的一致性作为正则化，以获得更好的分割性能。双任务生成器和双任务分割器被端到端地训练，使得它们彼此自适应以获得高分割性能。
4. 我们广泛评估了用于神经胶质瘤全肿瘤分割的FLAIR图像合成；用于前庭神经鞘瘤分割的ceT1图像合成的方法。实验结果表明，我们的方法优于几种最先进的基于深度学习的图像合成和分割方法。

相关工作

2.3.用于改进分割的医学图像合成

基于合成的分割方法可以简单地概括为两类：
1）顺序合成和分割，其中两个模型是独立或端到端训练的；
2） 同时合成和分割，其中使用混合模型来联合获得合成的目标模态和分割。图2（b）和（c）分别说明了这两个类别的工作流程。

• 现有的大多数工作遵循顺序图像合成和分割的工作流程。例如，Luo等人[20]首先基于边缘保持生成器生成缺失模态，然后用合成模态对目标进行分割，其中图像生成模型和分割模型在训练期间独立优化，在测试期间级联。然而，独立处理合成和分割可能会限制分割性能。
• 为了克服这个问题，最近越来越多地使用端到端的合成和分割方法。例如，Xu等人[36]提出了渐进序列随机GANs（PSGAN），以同时合成对比增强图像并分割与缺血性心脏病诊断相关的组织。然而，由于合成和分割模型是级联的，因此整个管道存在过拟合的风险，如果没有有效的正则化，其性能也会受到限制[36]。
• 与顺序合成和分割相比，同时合成和分割更好地利用了这两个任务之间的相互依赖性。在这种方法中，模型以可用的模态作为输入，同时给出目标模态和分割结果，其中合成和分割之间的隐含约束被用作正则化。例如，Bahrami等人[1]联合学习了两个平行的细胞神经网络，用于从3T MR图像中重建7T MR图像和分割脑组织。Sun等人[30]提出了一种用于同时压缩传感MRI重建和脑组织分割的统一网络，其中高质量的MRI合成网络和分割模型共享编码器，并使用独立的解码器来获得输出。然而，在这种方法中，合成图像没有进一步用于指导分割过程，这可能会限制分割精度。
  

实验

1）使用T1、T2和ceT1图像合成FLAIR图像用于整个神经胶质瘤分割
2）基于从T2 MR图像合成ceT1图像的VS肿瘤分割。

方法

Dual-Task Generator for Image Synthesis and Coarse Segmentation

设xs表示具有可用源模态的输入图像，并且xt表示相同对象的对应目标模态。我们使用y来表示分割的基本事实。我们的双任务生成器G以xs作为输入，同时获得合成的目标模态图像xt0和粗略分割yc。G由一个共享编码器GE和两个解码器组成：GD1分别获得xt0和GD2获得yc。与使用两个不同的网络顺序或独立地获得xt0和yc相比，我们的带有共享编码器的双任务生成器可以节省网络参数，并且合成和粗分割分支相互正则化。

Tumor-Aware Synthesis Loss with Perceptibility Regularization

• 大多数现有的图像合成方法都定义了全局合成损失Lsyn g来监督整体图像的质量[15，20]，这可能无法确保肿瘤区域周围的高合成质量，并导致下游肿瘤分割任务的低性能。为了解决这个问题，除了广泛使用的全局合成损失外，我们还引入了突出肿瘤周围合成质量的肿瘤感知合成损失Lsyn t和减少合成图像和真实目标模态图像之间的高级域间隙的感知正则化Lp。
• 肿瘤感知合成损失：为了提高肿瘤区域周围的合成质量，我们引入了一种用于训练的肿瘤聚焦鉴别器Dt。设M根据y的边界框表示肿瘤周围的二元掩模，我们乘以xs；xt和xt0分别由M表示，并且相应的掩蔽结果表示为
• 合成损失是全局合成损失、肿瘤感知合成损失和感知正则化的组合
  我们引入了感知损失来鼓励用真实目标模态图像训练的分割模型在参数冻结的合成图像上保持高性能，这使得合成图像和真实目标模态具有相似的语义特征。

Multi-Task Segmentor with Error-Prediction Consistency

• 该网络可以利用来自合成的缺失模态和粗略分割的信息，以获得比仅使用可用模态进行分割更好的分割结果。考虑到一个粗分割yc已经被合并到x~中，要获得精细分割，有两种基本方法：一种是直接预测精细分割[16]，另一种是首先预测yc中的误差信息[35]，然后将误差信息与yc组合以获得精细分割。与仅使用这两种预测中的一种的现有工作不同，我们利用了这两种方法的优势，并在这两个预测之间添加一致性作为正则化，以提高鲁棒性。因此，我们再次使用双重任务结构来实现精细分割网络。
• [16] Z. Jiang, C. Ding, M. Liu, D. Tao, Two-stage cascaded U-Net: 1st place solution to BraTS challenge 2019 segmentation task, in: International MICCAI Brainlesion Workshop, Springer, 2019, pp. 231–241.
• [35] Y. Xie, H. Lu, J. Zhang, C. Shen, Y. Xia, Deep segmentation-emendation model for gland instance segmentation, in: International Conference on Medical Image Computing and Computer- Assisted Intervention, Springer, 2019, pp. 469–477.

损失函数

全局合成损失：

典型图像合成方法[15]中的全局合成损失公式化为L1项和对抗性项的组合：


xs表示具有可用源模态的输入图像，xt表示相同对象的对应目标模态，xt’表示合成的目标模态图像，yc表示粗略分割

肿瘤感知合成损失：

为了提高肿瘤区域周围的合成质量，我们引入了一种用于训练的肿瘤聚焦鉴别器Dt。设M根据y的边界框表示肿瘤周围的二元掩模，我们乘以xs；xt和xt’分别由M表示，并且相应的掩蔽结果表示为，xs_heat：源模态肿瘤区域， xt_heat：目标模态肿瘤区域， xt’_heat合成的目标模态肿瘤区域

可感知性正则化：

由于良好的低水平合成质量测量（如SSIM和PSNR）可能不一定会由于xt’ 和xt之间的高水平语义差距而导致高分割性能[32]，我们引入了感知损失来鼓励用真实目标模态图像训练的分割模型在参数冻结的合成图像上保持高性能，这使得合成图像和真实目标模态具有相似的语义特征。设Sp表示用真实目标模态图像预训练并在G的训练过程中冻结的分割模型，我们的目标是生成xt’ ，使Sp在xt’ 上表现良好

总合成损失：

精细分割（前景概率图）损失：



粗分割yc，第一解码器SD1直接获得精细分割yf，第二解码器SD2预测误差概率（表示为ye），组合ye和yc以获得精细分割（前景概率图）yr

Thinking

TISS-Net通过双任务网络同时进行合成和分割、粗到细分割和误差预测一致性的统一。与典型的合成后分割方法[39，5]相比，我们的框架是端到端训练的，因此合成和分割是自适应的，可以获得分割友结果。与现有的端到端图像合成方法[31，36]不同，我们提出了一种级联的双任务架构，并引入了几种正则化策略来提高性能，即同时合成和粗分割、感知正则化和误差预测一致性。