论文阅读-TNNLS2021-Elastic Knowledge Distillation by Learning from Recollection

Abstract

训练过程中历史记忆中的有效信息，来帮助模型学习；recollection构建和使用；不同capacity和不同训练阶段来建立不同的recollection；similarity-based elastic KD 算法(弹性知识蒸馏)；

Introduction

之前每个training epoch的输出(training history),每一个对应一个recollection; How to build a suitable recollection;
两点观点: 1. resNet-110相比resnet-20，预测的分布更接近GT, 所以小模型需要的监督信息可以弱一点（相比GT）；2. 不同训练阶段需要不同的recollection，类似课程学习的思想，初期用moderately confident recollection,后期用highly confident GT，初始学习应该采用简单的task;
因此构建recollection，根据More or less peaked distribution; 使用recollection, 根据弹性地调整每个recollection的权重；

Conclusion

一个recollection-based training framework; Recollections are elastically collaborated together;
Key points: 自蒸馏