[CVPR2022] ACPL: Anti-curriculum Pseudo-labelling for Semi-supervised Medical Image Classification

ACPL: Anti-curriculum Pseudo-labelling for Semi-supervised Medical Image Classification

要点:

1、医学分析中有效的半监督学习需要:有效地处理多类别(病变分类)和多标签(多疾病诊断),以及不平衡(疾病流行率的高差异;
2、策略之一:基于伪标签 pseudo labeling,但是:
(a)比一致性学习 consistency learning 的准确率低,
(b)并不是专门针对于多分类和多标签问题而设计,
(c)受不平衡学习 imbalanced learning 的影响;
3、传统方法:通过阈值选择置信伪标签 select confident pseudo label by threshold
4、本文的 ACPL
(a)引入新的技术选择信息性的未标记样本,以处理不平衡和多分类、多标签,
(b)通过分类器的精准集合来估计伪标签,提高伪标签的准确率;
5、SOTA 方法:未标记数据的一致性学习 + 自监督预训练
6、伪标签方法:为高置信度的未标记样本分配标签以重新训练模型,但是,对于不均衡问题,自信分类的未标记样本代表信息最少的样本,这些样本可能属于多数类,这将使得分类偏向多数类,并且极有可能降低少数类别的分类精度;
7、选择高置信度的伪标签样本:
(a)对所有类别使用固定的阈值,
(b)类阈值 class-wise threshold:处理不均衡、多标签的类别相关性,更精确的伪标签预测,但是如果不知道类分布情况将很难估计该阈值,
(c)将模型输出用于伪标记过程,可能导致确认偏差 confirmation bias,分配错误的伪标签将增加模型在错误预测上的置信度,从而降低模型准确率;

ACPL

1、新的信息含量度量方法 —— 交叉分布样本信息性 cross-distribution sample informativeness

新的方法:选择用于伪标记的最具信息量的未标记数据
(基于本文假设:对于半监督学习,未标记和标记样本之间存在分布转移 distribution shift)
有效的学习课程 learning curriculum 必须关注于离标记样本分布尽可能远的信息性未标记样本 informative unlabeled samples
(选择这些样本,将均衡训练并消除估计类分类阈值的需要)
未标记样本的信息含量度量,将由我们提出的交叉分布样本信息性 cross-distribution sample informativeness 计算,输出未标记样本与标记的锚点样本集合的接近程度(锚点样本是高信息性的已标记样本)

2、新的伪标记机制——信息混合 informative mixup

将模型分类与由样本信息性指导的 K 近邻 K-nearest neighbor (KNN) 分类相结合,提高预测精度并减轻确认偏差

3、锚点集合纯化方法 ASP (anchor set porification)

 选择最具信息的伪标记样本,将其包含在已标记的锚点集合,提升后续训练阶段 KNN 分类器的伪标签准确率

相关的工作:

基于一致性的 SSL:

优化已标记图像的分类预测,最小化未标记图像不同视图下的预测输出
不同视图来源于不同的图像扰动 image perturbation:空间、时间、对抗、数据增强
基于一致性的方法可以通过自监督的预训练提高性能
但是,依赖于需要领域知识的扰动函数,且需要适应每种新的医学图像

伪标记的 SSL:

使用可用的标记数据训练模型
预测根据高置信度分类的未标记样本的伪标签
利用伪标记样本重训练模型
但是,伪标签 SSL 会在不平衡问题中偏向于主要类,不能适应多类和多标签问题,且容易导致确认偏差
改进取决于以下两点:
1、信息性未标记样本的选取 —— 解决主要类偏差和对多类、多标签问题的适应
2、准确的伪标记机制 —— 解决确认偏差

基于信息含量的训练样本选取的现有研究:完全监督的课程和反课程学习方法 fully supervised curriculum and anti-curriculum learning methods

课程学习侧重于早期训练阶段的简单样本,然后逐渐包括后期训练阶段的硬样本
(简单样本:训练期间损失较小的样本;硬样本:损失较大)
反课程学习首先关注于硬样本,训练后期过渡到简单样本

但是,上述都是完全监督的。
现有研究:基于课程学习的伪标记 SSL
本文研究:为了获取不平衡的多类和多标签问题中的准确标签,我们遵循反课程学习:
1、伪标记可能属于少数类的最具信息性的样本 —— 有助于平衡训练
2、不需要估计类分类阈值即可选择样本 —— 无缝适应多类和多标签问题
证明了为伪标记选择高信息性样本的价值,以及从分类器集合选择伪标签的价值

ACPL 优化:
根据反课程策略为未标记样本生成准确的伪标签,在每个训练阶段,高信息性的未标记样本被选取进行伪标记

交叉分布样本信息性 CDSI:
未标记样本的信息标准

信息混合 IM:
信息混合:将模型的结果与使用锚点的K近邻分类器融合
使用信息混合生成信息性未标记样本的伪标签
每个训练结束,锚点集都使用锚点集合纯化方法 ASP 更新 —— 根据 CDSI准则,每次只保留伪标记样本中最具信息量的子集

消融实验:

图表:

ACPL VS 传统的伪标签半监督学习方法

上:ACPL;下:traditional
左:多标签胸部 X 光;右:多类别

[CVPR2022] ACPL: Anti-curriculum Pseudo-labelling for Semi-supervised Medical Image Classification_第1张图片

ACPL 算法伪代码

 1. 根据 CDSI 和 IM 构建伪标记集
 2. 根据 ASP 更新锚点集
 3. 根据已标记集和伪标记集优化损失函数求模型输出
 4. 更新已标记集和未标记集

[CVPR2022] ACPL: Anti-curriculum Pseudo-labelling for Semi-supervised Medical Image Classification_第2张图片

ACPL 算法图示

 1. 用已标记数据集和伪标记数据集训练模型
 2. 从锚点和未标记样本中提取特征
 3. 使用公式(4)中的 CDSI 估算未标记样本与锚点集的信息含量
 4. 使用公式(2)将未标记样本分为高、中、低信息含量
 5. 使用公式(6)中的 IM 为高信息含量的未标记样本分配一个伪标签
 6. 用新的伪标记样本更新伪标签训练集
 7. 使用公式(7)中的 ASP 更新锚点集合

[CVPR2022] ACPL: Anti-curriculum Pseudo-labelling for Semi-supervised Medical Image Classification_第3张图片
ASP 图示

1. 找 D_U 中每个元素的 K 近邻有标记样本
2. 找 D_L 中每个元素的 K 近邻无标记样本
3. 针对 D_U 中的每个元素求两者的交集
4. 将 c(.) 最小的样本加入 D_A

[CVPR2022] ACPL: Anti-curriculum Pseudo-labelling for Semi-supervised Medical Image Classification_第4张图片

[CVPR2022] ACPL: Anti-curriculum Pseudo-labelling for Semi-supervised Medical Image Classification_第5张图片
[CVPR2022] ACPL: Anti-curriculum Pseudo-labelling for Semi-supervised Medical Image Classification_第6张图片

代码:

https://github.com/FBLADL/ACPL

你可能感兴趣的:(#,CVPR2022,python,深度学习)