MedSegDiff: Medical Image Segmentation withDiffusion Probabilistic Model

MedSegDiff:基于扩散概率模型的医学图像分割

摘要：

扩散概率模型(Diffusion probabilistic model, DPM)是近年来计算机视觉研究的热点之一。它在Imagen、Latent Diffusion Models和Stable Diffusion等图像生成应用中表现出了令人印象深刻的生成能力，引起了社区的广泛讨论。最近的许多研究还发现，它在许多其他视觉任务中也很有用，比如图像去模糊、超分辨率和异常检测。受DPM成功的启发，我们提出了第一个基于DPM的一般医学图像分割模型，我们将其命名为MedSegDiff。为了增强DPM在医学图像分割中的分步区域注意力，我们提出了动态条件编码，该编码为每个采样步建立状态自适应条件。我们进一步提出Feature Frequency Parser (FF-Parser)来消除高频噪声分量在此过程中的负面影响。我们在三种不同图像模式的医学分割任务上验证了MedSegDiff，即眼底图像的视杯分割、MRI图像的脑肿瘤分割和超声图像的甲状腺结节分割。实验结果表明，MedSegDiff算法在性能上明显优于SOTA算法，表明了该模型的泛化性和有效性。我们的代码发布在https://github.com/WuJunde/MedSegDiff

1 介绍

医学图像分割是将医学图像分割成有意义区域的过程。分割是许多医学图像分析应用的基本步骤，如诊断、手术计划和图像引导手术。这很重要，因为它可以让医生和其他医疗专业人员更好地了解他们所看到的东西。它还可以更容易地比较图像和跟踪随时间的变化。近年来，人们对医学图像的自动分割方法越来越感兴趣。这些方法有可能减少人工分割所需的时间和精力，并提高结果的一致性和准确性。随着深度学习技术的发展，越来越多的研究成功地将基于神经网络(NN)的模型应用到医学图像分割任务中，从流行的卷积神经网络(CNN)[11]到最近的视觉变压器(ViT)[3,22,12,28]。

最近，扩散概率模型(diffusion probistic model, DPM)[9]作为一类强大的生成模型[27]得到了广泛的应用，它能够生成具有高多样性和高合成质量的图像。最近的大型扩散模型，如DALLE2[17]、Imagen[19]和Stable diffusion[18]已经显示出令人难以置信的生成能力。扩散模型最初应用于不存在绝对真值的领域。然而，最近的研究表明，它也有效地解决了地面真相是唯一的问题，如超分辨率[20]和去模糊[24]。

受DPM最近成功的启发，我们设计了一种独特的基于DPM的医学图像分割模型。据我们所知，在一般医学图像分割的背景下，我们首次提出了基于dpm的不同图像模态分割模型。我们注意到，在医学图像分割任务中，病变/器官往往是模糊的，很难从背景中区分出来。在这种情况下，自适应校准过程是获得精确结果的关键。按照这种思路，我们提出了基于普通DPM的动态条件编码来设计所提出的模型，命名为MedSegDiff。需要注意的是，在迭代采样过程中，MedSegDiff对每一步都设置了图像先验条件，以便从中学习分割映射。针对自适应区域关注，我们将当前步骤的分割图整合到每一步的图像先验编码中。具体实现是将当前步分割掩码与特征级先验图像以多尺度方式融合。这样，损坏的电流阶掩模有助于动态增强条件特征，从而提高重建精度。为了消除在此过程中损坏的给定掩模中的高频噪声，我们进一步提出了特征频率解析器(FF-Parser)来过滤傅里叶空间中的特征。在每个跳跃连接路径上采用ff解析器进行多尺度集成。我们在三种不同的医学分割任务中验证了MedSegDiff，即光学杯分割、脑肿瘤分割和甲状腺结节分割。这些任务的图像有不同的模态，分别是眼底图像、脑部CT图像、超声图像。MedSegDiff在不同模态下的三种任务上均优于先前的SOTA，表明了所提方法的泛化和有效性。简而言之，本文的贡献是:

--首先提出了基于dpm的一般医学图像分割模型。

--提出了分步关注的动态条件编码策略。

--为了消除高频分量的负面影响，提出了高频解析器。

--SOTA在三种不同图像模态的医学分割任务中的性能。

2  方法

我们基于文献[9]中的扩散模型来设计模型。扩散模型是由正向扩散和反向扩散两个阶段组成的生成模型。在正演过程中，分割标签x0通过一系列步骤T逐渐加入高斯噪声。在反向过程中，通过对噪声过程进行反向，训练神经网络来恢复原始数据，可以表示为: