知识蒸馏详解

在第一次听到知识蒸馏这个名词时,觉得好高大上,后来听台湾大学李宏毅老师讲解时也是云里雾里。后来我找到一篇文章,应该可以说是我找到的最好,最容易理解的知识蒸馏的文章了,放个链接,推荐大家食用知识蒸馏:新手必看
如果这里边的交叉熵没有弄得很明白,可以参考我的另外一篇博客交叉熵从数学到机器学习
如果大家有找到更详细,更容易理解的知识蒸馏的文章,可以在下面留言链接哦

你可能感兴趣的:(pytorch)