DKD蒸馏复现

DKD蒸馏复现_第1张图片

知识蒸馏主要分两类:

1:基于logits

2:基于feature

logits蒸馏主要是在早期,后期效果逐步被基于feature蒸馏超越。

cvpr2022的DKD基于传统的KD进行改进,重铸logits蒸馏的荣光。目前很多蒸馏都采用DKD方案,比如PaddleClass里面的模型,paddle-ocr等等。

目前基于 这个仓库在cifar100上进行验证:代码简洁明了https://github.com/Daeen/DKD-on-simple-models/blob/main/resnet50_vs_MobileNetV2.py

DKD蒸馏复现_第2张图片

你可能感兴趣的:(人工智能,DKD蒸馏)