论文笔记----MEAL V2

MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet without Tricks∗

原文链接：https://arxiv.org/pdf/2009.08453v1.pdf

代码：https://github.com/szq0214/MEAL-V2

简介

    作者提出了一种非常简单高效的提升ResNet网络性能的方案。即：多老师版的知识蒸馏模型加上对抗训练。原理和实现都很简单。如图：    

MEAL V2与V1对比实现图 

    相关的loss函数：

学生模型与老师模型的KL loss

老师模型loss

对抗loss

效果展示：

实验结果