MedSegDiff

MedSegDiff: Medical Image Segmentation with Diffusion Probabilistic Model

摘要

• 第一个基于DPM的通用医学图像分割任务模型
• 为了提高医学图像分割中DPM的分步区域注意，提出了动态条件编码方法，为每一步采样建立状态自适应条件
• 进一步提出了特征频率分析器(FF-Parser)：消除高频噪声成分在此过程中的负面影响
• 代码地址：https://github.com/WuJunde/MedSegDiff

引言

• 扩散概率模型(DPM)作为生成模型能够生成具有高多样性和合成质量的图像
• 最近的大型扩散模型：DALLE2、Imagen[，Stable diffusion
• 本文将当前步分割掩码与先验图像在特征层上进行多尺度融合

方法

步长估计函数:

EIt是条件特征嵌入，本文中是原始图像嵌入，Ext是当前步骤的分割地图特征嵌入。这两个组件相加并发送到UNet解码器D进行重建。步长索引t与添加的嵌入和解码器特性集成在一起。在每一种方法中，都使用共享的学习查找表进行嵌入

动态条件编码

• 将当前步分割信息xt转换为条件原始图像编码
• 在Unet编码器中，利用当前步的编码特征增强了原始图像编码器的中间特征
• 融合采用一种类似于注意力机制的实现
• 两个特征映射首先进行层归一化，然后将相乘得到的结果与条件编码特征相乘以增强注意区域
  

FF-Parser

作用：约束xt特征中与噪声相关的分量
主要思想：学习应用于傅里叶空间特征的参数化注意(权重)映射
给定一个解码器特征映射m∈H×W ×C，沿着空间维度执行二维FFT(快速傅里叶变换)，可以表示为:

然后，通过乘以一个参数化的注意映射来调制M的频谱:

最后，通过反FFT将m0逆回空间域

FF-Parser可以看作是频率滤波器的一个可学习版本
与空间注意不同，它对特定频率的分量进行全局调整。因此，可以学习约束高频分量进行自适应融合。

训练和结构

损失函数：Unet中恢复噪声/图像

细节：

• 编码器由三个卷积阶段组成
• 每个残差块由两个卷积块组成
• 每个卷积块由组标准化和SiLU激活函数和一个卷积层组成

实验结果

主要对三个图像进行了测试

消融实验

验证所提出的动态调节和FF-Parser的有效性