知识蒸馏(Knowledge Distillation)、半监督学习(semi-supervised learning)以及弱监督学习(weak-supervised learning)
一.知识蒸馏1.知识蒸馏(1)首先,我先强调一下蒸馏学习其实本质是模型压缩!模型压缩!模型压缩!S模型有的精度高于T模型,有的低于T模型,但是可以很好地压缩网络体积。(2)知识蒸馏是由Hiton的DistillingtheKnowledgeinaNeuralNetwork论文地址提出,并通过引入与教师网络(TeacherNetwork:网络结构复杂,准确率高一般是我们的Best_Model)相关的