Mean Teacher学习笔记（一）

为了克服Temporal Ensembling的局限性，我们建议平均模型权重而不是预测。教师模式是连续学生模式的平均值，因此我们叫它Mean teacher。与直接使用最终的权重相比，将模型权重平均到训练步骤会产生更准确的模型，在训练中可以利用这一点来构建更好的目标。教师模型使用学生模型的EMA权重，而不是与学生模型共享权重。同时，由于权值平均改善了所有层的输出，而不仅仅是顶层输出，目标模型有更好的中间表示。
—————————————————————————————————————————

通过梯度下降更新student模型的权重后，教师模型的权重被更新为学生权重的指数移动平均值。两个模型的输出都可以用于预测，但在训练结束时，教师预测更有可能是正确的。
—————————————————————————————————————————

定义一致性代价$J$为学生模型预测和教师模型预测之间的期望距离：

我们定义在训练步骤$t$中${\theta }_t^{\prime }$是连续权值$\theta$的EMA值：其中$\alpha$是平滑系数超参数