【KD】知识蒸馏与迁移学习的不同

知识蒸馏与迁移学习的不同

(1)数据域不同.

知识蒸馏中的知识通常是在同一个目标数据集上进行迁移，而迁移学习中的知识往往是在不同目标的数据集上进行转移.

(2)网络结构不同.

知识蒸馏的两个网络可以是同构或者异构的，而迁移学习通常是在单个网络上利用其它领域的数据知识.

(3)学习方式不同.

迁移学习使用其它领域的丰富数据的权重来帮助目标数据的学习，而知识蒸馏不会直接使用学到的权重.

(4)目的不同.

知识蒸馏通常是训练一个轻量级的网络来逼近复杂网络的性能，而迁移学习是将已经学习到相关任务模型的权重来解决目标数据集的样本不足问题.

参考

Search to Distill: Pearls are Everywhere but not the Eyes - 知乎