知识蒸馏之Focal and Global Knowledge Distillation for Detectors

cvpr2021
Zhendong Yang*1,2 Zhe Li2 Xiaohu Jiang1 Y uan Gong1
Zehuan Y uan2 Danpei Zhao3 Chun Y uan†1
1Tsinghua Shenzhen International Graduate School 2ByteDance Inc
3BeiHang University

0.摘要

作者觉得在目标检测领域,知识蒸馏效果比较差,其原因是教师和学生的特征在背景和前景中差距比较大。如果蒸馏的温度一样,会产生吸收大量噪音负面影响。
作者提出了全局和局部蒸馏,局部蒸馏会分离前后景(语义分割?),来让学生关注老师的精华。而全局蒸馏会重建不同像素之间的联系,填充全局信息。

1.模型结构

知识蒸馏之Focal and Global Knowledge Distillation for Detectors_第1张图片

1.1局部蒸馏

请添加图片描述
很简单,r为gt_box,只有这一块是1。
由于前后景不均衡,对mask进行了改进:
知识蒸馏之Focal and Global Knowledge Distillation for Detectors_第2张图片
然后加了空间和通道注意力:
知识蒸馏之Focal and Global Knowledge Distillation for Detectors_第3张图片
损失包括两部分,特征损失
是和注意力损失:
知识蒸馏之Focal and Global Knowledge Distillation for Detectors_第4张图片

1.2全局蒸馏

知识蒸馏之Focal and Global Knowledge Distillation for Detectors_第5张图片
知识蒸馏之Focal and Global Knowledge Distillation for Detectors_第6张图片
请添加图片描述

你可能感兴趣的:(知识蒸馏,人工智能,深度学习)