基于噪声伪标签和对抗性学习的医学图像分割注释有效学习

一、背景

如今深度学习的成功在很大程度上取决于大量训练图像的可用性，以及专家提供的手动注释。然而，由于为分割任务提供像素级注释非常耗时，并且依赖具有领域知识的专家来实现，因此很难获得用于医学图像分割的大量手动注释。

二、创新点

提出一个用于分割任务的注释高效学习框架

核心方法：

1、从一组辅助对象遮罩中学习，这些辅助对象遮罩与训练图像不成对，可以通过形状先验信息或可能不同领域的公开可用数据集轻松获得。
2、对于一些可以由参数化模型精确描述的形状良好的对象，我们直接使用参数化模型作为形状，然后生成一组辅助遮罩。
3、对于难以通过参数化模型拟合的形状更复杂的对象，我们利用来自其他可用域（例如公共数据集）的对象掩码样本
4、基于未配对的训练图像集和辅助遮罩，我们使用循环一致生成对抗网络（CycleGAN），其中生成器学习获取训练图像的伪标签
通过使用辅助遮罩的对抗性学习引入隐式形状约束，以获得更精确的伪标签。基于带噪伪标签提出了一种带噪声加权骰子损失的抗噪迭代训练方法来训练最终的分割模型，以获得较高的分割性能

优点：

1、避免了对训练图像的注释，借助辅助掩模为训练图像生成伪标签
2、为了从有噪声的伪标签中学习，进一步引入了一种使用噪声加权骰子损失的抗噪声迭代学习方法

结果：

1、 基于VAE的鉴别器和DGCC模块有助于获得高质量的伪标签
2、我们提出的噪声鲁棒学习方法可以有效地克服噪声伪标签的影响
3、在不使用训练图像注释的情况下，我们的方法的分割性能与从人类注释中学习的分割性能接近甚至相当

图示

a） 我们使用一组辅助口罩（例如，从胎儿头部分割中的形状先验模型获得），这些口罩与训练图像不配对，用于训练。
b） 一种改进的CycleGAN算法从未配对图像和辅助掩模中学习，得到每个训练图像对应的伪标签，其中提出了基于VAE的鉴别器和DGCC模块，以获得更好的性能。
c） 训练集的伪标签。
d） 一种抗噪迭代学习方法，使用伪标签训练最终分割模型。

流程

1、借助于与训练图像不成对的辅助遮罩，我们首先使用生成器将医学图像转换为相应的伪标签
2、基于改进的CycleGAN框架，该框架通过对抗性学习引入隐式高级形状约束。我们提出了一个基于VAE的鉴别器和一个DGCC模块，该模块使用鉴别器的反馈校准伪标签生成器，以获得更好的伪标签
3、从带噪伪标签中学习得到最终的分割模型，并提出了一种基于噪声加权骰子损失和基于标签质量的样本选择（LQSS）模块的抗噪迭代训练方法，以克服噪声的影响，获得高性能的分割模型

三、具体操作

$I$ 和 $S$ 分别代表医学图像域和分割掩模域

1、随机遮罩：

我们2D空间中生成随机椭圆来模拟来自域S的样本。为了使椭圆的形状接近真实分割目标的形状，基于真实目标对应值的先验分布来约束大小、纵横比和方向。这样我们获得了未配对的训练图像和随机遮罩

使用形状先验模型分割结构

---

对于难以建模的更复杂的分割结构（例如，肺和肝脏），我们可以直接使用来自掩模域（未配对到训练图像）的一组样本进行训练。

2、生成伪标签及损失函数

1、对于未与我们的未注训练图像配对的辅助遮罩使用伪标签生成器 $G_a$ 来将医学图像域$I$转化为对应$I$的掩膜
$S^{{}^{\prime }}$=G_{a}$

---

2、图像生成器$G_b$将域$S$中的辅助掩膜样本$S$转换为对应的伪医学图像
$I=G_b(S)$

---

3、损失函数：

$P_{data(I)}$是医学图像域$I$的分布

---

4、对抗损失函数让$S^{{}^{\prime }}$更匹配$S$（为了克服原损失函数消失梯度问题）

$D_B$是一个基于补丁的鉴别器，可以将输入的每个补丁从域中区分为真补丁或假补丁，用于评估伪标签的质量

3、基于VAE的鉴别器

目的

伪分割标签中的像素值并不复杂且稀疏，可以通过潜在向量将其转换为更紧凑的表示

介绍

$VAE$是一个编码器-解码器网络，其中编码器网络将输入映射到低维潜在向量，解码器网络尝试重建输入。我们通过强制潜在向量服从均值为零、方差为1的高斯分布来正则化编码器。

流程

我们使用辅助掩模对V AE进行预训练。对于预训练，它以一个辅助掩码作为输入，其解码器重建辅助掩码作为输出以$D_{VAE}$表示。其对抗性损失表示为：

4、图示：

5、总体损失函数

其中${\lambda }_{adv、cycle、VAE}$为前三者损失函数的权重

6、鉴别器引导的校准*

7、从伪标签中学习

我们提出了一种基于标签质量的样本选择（LQSS）方法，自动拒绝低质量的伪标签，只保留高质量的伪标签。训练有素的鉴别器$D_B$可以指示其输入是来自分割掩码域的真实样本还是虚假样本.根据估计的噪声水平对每个像素进行加权。由于标签错误的样本可能会导致高损失值，我们为训练误差较大的像素分配较低的权重，以减少潜在噪声标签的影响。噪声加权骰子损失公式如下：

四、问题

1、鉴别器的引导$D_B$具体工作方法
2、流程图的分析