【论文解读】One Teacher is Enough? Pre-trained Language Model Distillation from Multiple Teachers

这是一篇关于NLP领域多模型知识蒸馏的文章，整体思路比较清晰，介绍了一种多模型蒸馏的方法。

1. 简介

• 论文题目：One Teacher is Enough?
  Pre-trained Language Model Distillation from Multiple Teachers
• 地址：https://arxiv.org/pdf/2106.01023.pdf

2. motivation & abstract

单个教师模型指导学生模型训练时，教师模型的结果如果有偏，则容易导致最终模型结果有偏，最终学生模型的精度较低。

因此本文提出了一种多教师模型的知识蒸馏方法（co-finetune）。在这里引入shared pooling和prediction layer去对齐输出空间，从而保证更好地蒸馏。此外，对蒸馏的损失函数进行改进，提出multi-teacher hidden loss和multi-teacher distillation loss去同时利用教师模型的中间层以及输出层信息，最终在3个benchamark dataset上获取了最优性能。

注意：本文属于task-specific knowledge distillation。

3. MT-BERT

3.1 Multi-Teacher Co-Finetuning

不同的教师模型是基于不同的超参数进行训练的，因此他们单