知识蒸馏1：基础原理讲解及yolov5项目实战介绍

1. 网络压缩技术介绍

网络压缩方法主要4种：1.Network pruning (网络剪枝) 2.Sparse representation稀疏表示 3.Bits precision 可以利用低比特的表示，甚至二值化的表示 4. Konwledge distillation 知识蒸馏

2. 知识蒸馏介绍

知识蒸馏最早的一篇论文:Distilling the Knowledge in a Netrual Network, 论文在2015年由深度学习领域的大牛Geffrey Hinton 和Google Jeff Dean等人提出。

知识蒸馏类似于迁移学习，可以看成是一种知识的迁移。

由教师网络模型(Teacher mode)将知识迁移给学生(Student model)模型，通俗的讲就是用教师网络指导学生网络的学习。