Featured Based知识蒸馏(3): Focal and Global Knowledge (FGD)

文章目录

    • 1. 摘要
    • 2. Focal and Global 蒸馏的原理
      • 2.1 常规的feature based蒸馏算法
      • 2.2 Focal Distillation
      • 2.3 Global Distillation
      • 2.4 total loss
    • 3. 实验

Featured Based知识蒸馏(3): Focal and Global Knowledge (FGD)_第1张图片
Featured Based知识蒸馏(3): Focal and Global Knowledge (FGD)_第2张图片
论文: https://arxiv.org/pdf/2111.11837.pdf

你可能感兴趣的:(模型轻量化,特征,知识蒸馏,轻量化,FGD)