FixMatch Simplifying Semi-Supervised Learning with Consistency and Confidence

FixMatch Simplifying Semi-Supervised Learning with Consistency and Confidence

• 作者：Kihyuk Sohn∗ David Berthelot∗Chun-Liang Li Zizhao Zhang Nicholas Carlini Ekin D. Cubuk Alex Kurakin Han Zhang Colin Raffel
• 机构：Google Research
• 出处：arXiv:2001.07685

写作技巧

we carry out an extensive ablation study to tease apart the experimental factors that are most important to xxx’s success.
tease：梳理
the de facto model：真实模型
consistency regularization：一致性正则化
pseudo-labeling：伪标签学习
leverage：利用
main novelty：主要创新点
quantify：量化
anneals the weight of the unlabeled data loss
anneals：使xxx退火

方法

• 强数据增强方法：CutOut、CTAugment、RandAugment

• FixMatch 算法是一致性正则化和伪标签学习这两种方法的结合，在计算一致性正则时使用了弱增强和强增强的输入数据

• 一致性正则化损失
  添加随机数据增强或者随机噪音，保持多个输入的输出的一致性

• 伪标签学习
  论文中使用argmax将soft伪标签转化位hard标签，使得熵最小化，并设置阈值过滤低阈值的伪标签

• FixMatch
  交叉熵损失：针对有标签样本使用标准交叉熵损失、针对无标签样本先计算人工的标签，再使用标准交叉熵
  如何计算人工标签：通过弱增强输入预测类别分布，再使用argmax得到伪标签，将强数据增强的同样样本作为输入，弱增强的预测作为伪标签，计算交叉熵，用一个阈值过滤低置信度的伪标签样本。
  

• 在FixMatch中使用的数据增强
  分为了弱增强和强增强两类：
  弱增强：标准的翻转和平移
  强增强：准备使用了自动数据增强中求得的两种方法，但是需要监督的标签学习数据增强的流程，但是对于半监督学习来说这样是病态的。所以我们采用了两种变种方法： RandAugment和CTAugment；使用的时候是使用一次Cutout，然后接着使用上述两种的一种。
  
  

其他的一些重要的因素

• 正则非常重要：weight decay regularization是需要的
• 标准SGD比Adam要好
• cosine learning rate decay