知识蒸馏2:目标检测中的知识蒸馏

1. 目标检测知识蒸馏介绍

1. Faster-RCNN 知识蒸馏

1.1 原理介绍

本博客介绍目标检测任务中知识蒸馏如何操作，首先介绍下相关的论文。
第一篇：Learning Efficient Object Detection Models with Knowledge Distillation

这篇文章是针对Faster -RCNN进行知识蒸馏的方法，

• Faster RCNN是一个两阶段的目标检测算法，包括region proposal network(RPN) 和region classification network (RCN) ,这两阶段都用到了classifier和bounding-box regressor,论文使用教师网络RPN和RCN的输出作为蒸馏的目标，并应用了中间层的输出作为提示Hint
• 图中，上半部分是教师网络，网络中间层的输出叫做Hint知道学生网络中间层输出的学习，中间层一般是feature map。我们希望student也学习到中简层特征的输出。