论文:Distilling the Knowledge in a Neural Network

作者:Geoffrey Hitton;Orial Vinyals;Jeff Dean


看得不是很懂,先留个坑,说个大意。


标题就很好地解释了这篇论文是来干嘛的,重点是Distill,萃取,针对的是Neural Network,但是在文章的前2/3并没有看到怎么是面向Neual Network的,整个标题:如何从Neural Network中萃取知识?先只说说我看的前面2/3的部分。

众所周知,将不同的模型进行融合一般都是可以提高泛化能力的[],然而融合出来的模型过于复杂,有没有一个对应的简单地模型呢。即如何从一个复杂的模型萃取出一个性能接近的简单模型呢?首先我的疑问肯定是这样做有什么好处,既然已经得到了复杂的模型,参数都已经学好,为什么还要多此一举进行萃取--distill呢?嗯,文章中说是为了提高预测时的效率,但我的疑惑仍在:进行萃取--distill的成本可以换回预测时节省的成本吗?

mark 1: 类别概率可以反映很重要的信息。例如下面这个例子:




mark 2:softmax 是将类别转化成概率的输出,在其中加上温度T的表示,T越大,概率分布越柔和:


论文:Distilling the Knowledge in a Neural Network_第1张图片

你可能感兴趣的:(深度学习)