A Gift from Knowledge Distillation：Fast Optiization,Network Minimization and Transfer Learning

A Gift from Knowledge Distillation_Fast Optiization,Network Minimization and Transfer Learning：

本文提出以下观点：

（1）从教师网络萃取知识不一定只从最后的softmax层这一层，还可以从多个层提取。结构如下：

 

（2）将从教师网络学习到的知识用来对学生网络进行初始化，并在之后用主流的方法进行训练。算法如下。

 

（3）因为FSP矩阵又两个层的特征得来，所以如果尺寸不同的话，可以用最大池化层拟合。

（4）用Gram矩阵来计算loss函数。Gram矩阵是计算每个通道i与通道j的feature map的内积。Gram matrix的每个值都可以说是代表i通道的feature map与通道j的feature map互相关的程度。如下式：

 

 

（5）单纯的教会学生模仿老师的生成特征图是个硬约束会让网络变得不灵活，所以应该致力于教会学生的学习这一过程。