Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised

Mean Teacher 这篇文章一上来就说“模型成功的关键在于 target 的质量”。而提高 target 的质量的方法目前有两:
1.精心选择样本噪声;
2. 找到一个更好的 Teacher model。而论文采用了第二种方法。

怎样提高 Teacher Model 的质量呢 ?

就是通过对 Teacher model 做 EMA (指数平均) , 每一次迭代都会对 teacher network 进行更新,这样的话会提升 teacher network 的性能,所以会得到一个更好的 target 让 student network 去学习,最终得到一个不错的效果。

就稍微写两句,最近 NAS 的任务比较重,溜了。

你可能感兴趣的:(Paper_Reading)