【AAAI 2021】零样本知识蒸馏:Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis

【AAAI 2021】零样本知识蒸馏:Data-Free Knowledge Distillation with Soft Targeted Transfer Set Synthesis

  • 论文地址:
  • 主要问题:
  • 主要思路:
  • 主要贡献:
  • 具体实现:
    • 基本符号:
    • 具有多元正态分布的特征空间建模:
    • 软目标标签生成:
    • 样本生成:
    • 基于伪样本的知识蒸馏:
  • 实验结果:
  • 联系作者:
  • 我的公众号:

论文地址:

https://arxiv.org/abs/2104.04868

主要问题:

实现无数据 KD 的关键思想是生成信息丰富的伪样本,从而可以近似原始训练样本的分布

主要思路:

这篇文章提出了一种新的无数据

你可能感兴趣的:(深度学习,人工智能,神经网络,模型压缩,知识蒸馏)