知识蒸馏(Distillation)相关论文阅读(1)——Distilling the Knowledge in a Neural Network(以及代码复现)
———————————————————————————————《DistillingtheKnowledgeinaNeuralNetwork》GeoffreyHintion以往为了提高模型表现所采取的方法是对同一个数据集训练出多个模型,再对预测结果进行平均;但通常这样计算量过大。引出一种模型压缩技术:Distillation;以及介绍了一种由一个或多个完整模型(fullmodels)以及针对/细节