解读FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

还是Google research出品

论文：https://arxiv.org/abs/2001.07685

官方代码：https://github.com/google-research/fixmatch

主要贡献：（A+B=C的操作）

1.主要结合了pseudo label 和 consistency regularization（两种数据增强方式实现） 方法。

2.在cifar10 利用250个标签样本实现了94.93%，利用40个标签样本实现了88.61%的SOTA.

整个Fix Match过程图：

首先利用一张无标签样本分别进行“弱”增强（翻转、缩放）和“强”增强（CutOut、CTAugment、RandAugment),然后通过model得到预测标签，通过标准交叉熵损失计算损失。

注意：上述“弱“增强方式预测过程需要设定一个阈值，大于阈值的才计算loss，小于的就不计算。相当于在前期训练阶段中无标签样本损失可能一直是为0的。

算法过程：

为了得到最优超参数，该文章后面对超参做了大量的消融实验，比如学习率，衰减率、学习率衰减函数、标签样本与无标签样本比例、动量、优化器选择、伪标签中用的阈值，包括sharpen中的τ。

优化器：

学习率衰减函数：

数据比例、置信度阈值、sharpen、衰减率：

最后经过对比得出来的结果：

实验结果：

这篇论文干货太少了。。。。。。。。。不过作者还是做了很多大量的消融实验。。。