知识蒸馏

 

知识蒸馏是模型压缩的一种方法，指将复杂的、参数量大的模型的特征表达能力迁移到简单的、参数量小的模型中，以加快模型的推理。

知识蒸馏的关键两点：一是如何定义知识，二是使用什么损失函数来度量student网络和teacher 网络之间的相似度。

方法介绍

	reference name	year, publication	title	Knowledge	Loss	URL
	reference name	year, publication	title	Knowledge	Loss	URL
1	DD	2014, NIPS	Do Deep Nets Really Need to be Deep?	logits	L2	https://arxiv.org/abs/1312.6184v7
2	KD	2014,