FixMatch半监督学习论文【终于说清楚了系列4】

FixMatch::Simplifying Semi-Supervised Learning with Consistency and Confidence

)
文章发表于NeurIPS 2020
这篇文章的动机是要对半监督算法进行简化，利用伪标签方法来获得无标数据的人工标签，然后让强增强后的无标数据得到与若增强一致的输出结果。

前情回顾，半监督和UDA
半监督方法的目是充分利用少量的有标数据以及大量的无标数据。
为了充分利用有标数据，通常会对有标数据进行增强
为了充分利用无标数据，会通过一种方法给无标数据打上人工标签，然后就可以像有标数据一样利用起来
UDA的主要步骤如下：

image.png

1.给无标数据一个人工标签。无标数据的模型输出结果当做标签（置信度大于阈值，并经过锐化Sharpening）。
2.一致性正则。通过对一个无标数据增强一次并输入模型来拟合之前得到的人工标签（CE损失）。值得注意的是，这里的标签并不是one-hot的，而是一个概率分布。
3.有标数据的CE损失+无标数据的CE损失
由此可见，该方法一致性正则 和 熵最小正则（smoothness/cluster assumption）的应用。
一致性正则体现在将一个无标数据前后标签一致
熵最小正则体现在给无标数据一个人工标签的过程（Sharpening）

动机：1针对人工标签的获得方式进行了改进：类似UDA，采用对弱增强无标数据pseudo-labeling来获取无标数据的one-hot标签，也会有置信度阈值的过滤设置。2.类似于ReMixMatch的Augmentation Anchoring的一致性正则，让强增强后的无标数据的模型输出尽量与弱增强无标数据的标签保持一致。

方法

image.png

实验

image.png

代码：https://github.com/google-research/fixmatch