双向复制粘贴半监督医学图像分割

Bidirectional Copy-Paste for Semi-Supervised Medical Image Segmentation

摘要

在半监督医学图像分割中，存在标记数据与未标记数据分布不匹配的问题。如果单独或以不一致的方式处理标记和未标记数据，则从标记数据中获得的知识可能在很大程度上被丢弃。我们提出了一种直接的方法来缓解这个问题-在一个简单的Mean Teacher架构中双向复制粘贴标记和未标记的数据。
本文方法

1. 鼓励未标记的数据在内向和外向两个方向上从标记的数据中学习全面的公共语义
2. 标记和未标记数据的一致学习过程可以大大减少经验分布差距
3. 分别将随机裁剪的标记图像(前景)复制粘贴到未标记的图像(背景)和未标记的图像(前景)到标记的图像(背景)上。
4. 这两幅混合图像被输入到一个学生网络中，由伪标签和真实的混合监督信号进行监督。我们发现，与各种半监督医学图像分割数据集相比，标记和未标记数据之间双向复制粘贴的简单机制足够好，并且实验显示出坚实的收益(例如，在ACDC数据集上使用5%的标记数据，超过21%的Dice改进)
   代码地址
   
   图1所示。半监督学习设置下的不匹配问题说明。假设训练集取自(a)中的潜在分布，但少量标记数据和大量未标记数据的经验分布分别为(b)和©。使用少量的标记数据来构建整个数据集的精确分布是很困难的。(d)通过使用我们的BCP，标记和未标记特征的经验分布是一致的。(e)但其他方法，如SSNet或交叉无标记数据复制粘贴不能解决经验分布不匹配问题。所有分布都是ACDC中属于心肌类体素的核密度估计

LA数据集上不同模型的未标记和标记训练数据的dice分数。在我们的方法中观察到的性能差距要小得多。

本文方法

在Mean Teacher架构中双向复制粘贴框架的概述
使用2D输入绘制以获得更好的可视化效果
学生网络的输入以双向复制-粘贴的方式混合两个标记和两个未标记的图像
然后，为了向学生网络提供监督信号，我们将教师网络生成的标签和伪标签通过相同的双向复制-粘贴方法组合成一个监督信号，使标签的强监督帮助伪标签的弱监督

实验结果