神经网络压缩:Mimic(二)Distilling the Knowledge in a Neural Network
转载请注明出处:西土城的搬砖日常原文:arxiv出版源:《ComputerScience》,2015,14(7):38-39问题摘要:在几乎所有的机器学习算法当中,我们都可以通过对同一数据集进行多次学习得到数个不同的模型,并将各模型的预测结果作以加权作为最终输出这一简单的方式来提高任务性能。然而显然这一方法在计算代价上经常过于昂贵。而在这篇文献当中作者提出了一种所谓的“蒸馏”法,将大规模的训练模型