探究SAM增强其他医学分割模型的（2023+Input Augmentation with SAM: BoostingMedical Image Segmentation with Segment）

本文表明，尽管SAM不能立即给出高质量的医学图像分割，但其生成的掩模、特征和稳定性分数对于构建和训练更好的医学图像分割模型是有用的。特别演示了如何使用SAM来增强常用医学图像分割模型(例如UNet)的图像输入。

方法：

对于给定的具有图像和注释对的医学图像分割任务目标是在分割基础模型SAM的基础上建立和训练一个医学图像分割模型MedNet。建议直接利用SAM生成的分割map(带有稳定性分数)来增强医学图像分割模型MedNet的原始输入。SAM的参数保持不变，融合(增强)函数SAMAug是一个无参数模块，学习过程旨在根据给定的基础模型SAM、融合函数SAMAug和训练数据更新MedNet的参数。输入增强是开发的一个叫做SAMAug的融合函数来完成的。结构图如下图所示：

1.SAM图像分割 

在网格提示设置中，SAM使用网格提示为给定图像生成分割掩码。也就是说，在图像中所有可能的位置生成分割蒙版。生成的分段掩码然后存储在一个列表中。对于列表中的每个分段掩码，我们使用掩码相应的稳定性评分(由SAM生成)建议的值在新创建的分段先验映射上绘制掩码。除了分割先验图外，我们还根据SAM提供的掩码进一步生成边界先验图。我们在掩码列表中绘制每个分割掩码的外部边界，并将所有的边界放在一起形成边界先验图。对于给定的图像x，我们使用上面讨论的过程生成两个先验映射，priorseg和priorboundary。在下图，我们给出了由此生成的这些先验地图的可视化示例。

 

2.增强输入图像

有了生成的先验映射，我们的下一步是用生成的先验映射增强输入图像x。我们选择了一种简单的增强方法(SAMAug):将先验地图添加到原始图像中。注意，许多医学图像分割任务可以简化为三类分割任务，其中第一类对应于背景，第二类对应于感兴趣对象(roi)，第三类对应于roi与背景之间的边界。我们将分割先验映射添加到原始图像的第二通道，将边界先验映射添加到原始图像的第三通道。如果原始图像是灰度的，我们创建一个3通道图像，其中第一个通道由灰度原始图像组成，第二个通道由其分割先验映射(仅)组成，第三个通道由其边界先验映射(仅)组成。对于训练集中的每个图像x，我们生成其增强版本x aug = aug (priorseg, priorboundary, x)。

3.重新训练图像分割模型