医学影像半监督分割--基于数据扰动

从医学影像中分割出相应的组织，在临床应用中起着至关重要的作用。近年来，深度学习在在图像分割方面获得了巨大的成功，第一个图像分割的网络就是经典的U-Net模型，后续的图像分割的网络基本都是在此基础上进行改进的。但是，训练一个精度好的网络，是需要大量的标注数据，但是，对于医学影像来说，标注数据的获取通常是昂贵的，特别是在三维图像中，为了降低标记成本，近些年来人们提出了许多方法来开发一种高性能的医学影像分割模型，以减少标记数据。例如，将用户交互与神经网络相结合，交互的进行图像分割，可以减少标记的工作量。自监督学习方法是利用无标签数据，以监督的方式训练模型，学习基础知识然后进行知识迁移。半监督学习框架直接从有限地带标签数据和大量的未带标签数据中学习，得到高质量的分割结果。弱监督学习方法从图像级标签中学习图像分割，而不是使用像素级标注，这减少了标注的负担。但是，弱监督学习和自监督学习在医学图像分割任务上性能依旧受限，尤其是在三维医学图像的分割上。除此之外，少量标注数据和大量未标注数据更加符合实际临床场景。医学影像的半监督学习方法可以大致的分为：（1）基于数据扰动或模型扰动或者数据和模型同时扰动正则化。（2）基于多任务层面的一致性约束。

本论文介绍的是对相同输入的不同干扰进行一致性的预测来有效利用未标记数据。

Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation

1.Introduction 

这篇文章 针对3D MR图像的左心房分割任务提出了不确定性感知子增强（UA-MT）模型，能够更有效的利用无标签数据从而获得更好的性能。具体来说，该框架由学生模型和教师模型组成，对于有标签数据，学生模型（student model）进行有监督学习。对于无标签数据，通过教师模型（teacher model）预测分割图，作为学生模型的学习目标，教师模型除了生成目标输出外，还利用蒙特卡洛抽样方法估计每个目标预测的不确定性。在计算一致性损失时，一估计得不确定性为指标，过滤到不可靠的预测，只保留可靠的预测，提高学生模型的性能。英雌，学生模型被更加可靠的监督所优化，反过来，鼓励教师模型产生高质量的目标。

2.1Semi-supervised Segmentation

在3D的半监督任务中，现在假设有N个标签数据和M个无标签数据，现在用DL={(xi,yi)}表示有标签数据集，半监督分割框架的学习目标为下面这个

 其中LS为在有标签数据上计算的有监督损失部分（交叉熵损失），LC为在无标签数据上计算的教师模型和学生模型之间的无监督损失部分。f表示分割神经网络，（θ，ζ）和（θ'，ζ'）分别表示教师模型和学生模型中的权重和不同扰动（例如给输入加入噪声或者网络中加入dropout）。λ是控制有监督损失部分和无监督损失部分的权衡参数。

除此之外，一些论文证明集成网络在不同训练阶段的预测结果能够有效地提高预测结果，因此文中采用了指数移动平均 (exponential moving average, EMA)策略来提高教师模型的预测结果。具体地，教师模型的参数的更新策略是在第t次迭代中学生模型参数的基础上以及t-1次迭代中教师模型参数的集成。α是用来控制更新速度的参数。

2.2 Uncertainty-Aware Mean Teacher Framework

由于教师模型对于无标签数据的预测结果是不确定性且有噪声的，将教师模型的预测结果作为学生模型学习的一部分，因此，作者设计了不确定感知的策略让学生模型能够逐渐学习更加可靠的目标。其中，不确定性评估是由教师模型生成的，具体来说，

第一步，对于每一个输入数据，进行T次前向传播，每一次前向传播都会随机对输入数据加入高斯噪声或者在网络中加入dropout，因此对每一个体素都有T个预测结果。

第二步，采用predictive entropy大致近似不确定性，具体表示为：

其中Pct是第t次前向传播中对属于第c类别概率的预测，最终构成不确定性张量U,{u}∈RH*W*D

2.3不确定性的consistency Loss

有了上一步的教师模型预测的不确定性结果U，可以过滤掉相对不确定的预测，而选取相对可靠的预测作为学生模型的学习目标。具体如下：其I表示指示函数，如果条件成立就会返回1，否则返回0，这样可以筛选出可靠的样本。其中f’v和fv是教师模型和学生模型在第V个体素上的预测结果，Uv是不确定性张量U在第V体素上的值，H是过滤不确定预测的阈值。这个就是consistency Loss.

3 Experiments and Results 

下面就是实验部分，作者将本论文提出半监督模型和有监督模型进行对比，并且也和其他的半监督的方式进行了比较，前面4行都是有标签的数据上的分割结果，其中80个有标签的训练样本的网络表现被认为是一个上限，可以看到，与其他的半监督方法相比，我们的半监督方法比较接近全监督方法。

代码地址：https://github.com/yulequan/UA-MT