笔记——知识蒸馏

带有笔记的文章是最近正在研究的内容，质量有可能很差，只有自己看的懂，所以看的笔记的大致看看就可以，我也正在积累，等感觉没问题了就会重新整理再发一次

为什么要用知识蒸馏

知识蒸馏是模型压缩方法中的一个大类，是一种基于“教师-学生网络（teacher-student-network）思想”的训练方法， 其主要思想是拟合教师模型（teacher-model）的泛化性等（如输出概率、中间层特征、激活边界等），而不是一个简简单单的0-1类别标签。

知识蒸馏也可以看成是迁移学习的特例，工业界应用得比较广泛的是将BERT模型蒸馏到较少层的transformer， 或者LSTM、CNN等普通模型。BERT模型由于其强大的特征抽取能力，在很多NLP任务上能够达到soft-state-art的效果。 尽管如此，BERT还是有着超参数量大、占用空间大、占用计算资源大、推理时间长等缺点，即便是大公司等也不能随心所欲地使用。 因此，一个简单的想法便是通过BERT等获取一个简单、但性能更好地轻量级算法模型，知识蒸馏无疑是一种有效的方法。 巨大的BERT在很多业务场景下的线上inference都存在很大的性能瓶颈，于是就有了知识蒸馏的用武之地。

常见的使用方式是离线fintune BERT模型，训练一个离线指标明显优于小模型的模型， 然后用fintue好的BERT模型作为指导蒸馏一个小的模型，也可以看做是一个muti-task的训练任务。 最后上线用小模型即可，从而获得性能和效果双赢的局面。

怎么用知识蒸馏

BERT模型蒸馏到简单网络、Tranformers

BERT蒸馏一般有两种方式，一种是BERT蒸馏到较少网络层的transformers，另外一种是BERT蒸馏到TextCNN、TextRNN等简单网络。

工具

TextBrewer科大讯飞开源的一个基于PyTorch的、为实现NLP中的知识蒸馏任务而设计的工具包，融合并改进了NLP和CV中的多种知识蒸馏技术，提供便捷快速的知识蒸馏框架，用于以较低的性能损失压缩神经网络模型的大小，提升模型的推理速度，减少内存占用。

5.2 主要特点：

TextBrewer 为NLP中的知识蒸馏任务设计，融合了多种知识蒸馏技术，提供方便快捷的知识蒸馏框架，主要特点有：

• 模型无关：适用于多种模型结构（主要面向Transfomer结构）

• 方便灵活：可自由组合多种蒸馏方法；可方便增加自定义损失等模块

• 非侵入式：无需对教师与学生模型本身结构进行修改

• 支持典型的NLP任务：文本分类、阅读理解、序列标注等

精确度上可以大大超过简单模型，但其巨大的计算成本使它们在实际应用中完全无法使用。
目前，有三种方法可以压缩神经网络，同时保持预测性能：
权值裁剪
量化
知识蒸馏

知识蒸馏：
让我们想象一个非常复杂的任务，比如对数千个类进行图像分类。通常，你不能指望ResNet50能达到99%的准确度。所以，你建立一个模型集合，平衡每个模型的缺陷。现在你有了一个巨大的模型，尽管它的性能非常出色，但无法将其部署到生产环境中，并在合理的时间内获得预测。
如果我们使用来自大而笨重的模型的预测来训练一个更小的，所谓的“学生”模型来逼近大模型会怎么样？
过程如下。

• 训练一个能够性能很好泛化也很好的大模型。这被称为教师模型。
• 利用你所拥有的所有数据，计算出教师模型的预测。带有这些预测的全部数据集被称为知识， 预测本身通常被称为soft targets。这是知识蒸馏步骤。
• 利用先前获得的知识来训练较小的网络，称为学生模型。

为什么不重头训练一个小网络？

对于复杂的问题，简单的模型很难在给定的训练数据上很好地泛化。然而，我们拥有的远不止训练数据：教师模型对所有可用数据的预测。

• 首先，教师模型的知识可以教学生模型如何通过训练数据集之外的可用预测进行泛化。回想一下，我们使用教师模型对所有可用数据的预测来训练学生模型，而不是原始的训练数据集。
• 其次，soft
  targets提供了比类标签更有用的信息：它表明两个类是否彼此相似。例如，如果任务是分类狗的品种，像“柴犬和秋田犬非常相似”这样的信息对于模型泛化是非常有价值的。

与迁移学习的区别

转移学习相反，知识蒸馏不会直接使用学到的权重。

使用决策树

如果你想进一步压缩模型，你可以尝试使用更简单的模型，如决策树。尽管它们的表达能力不如神经网络，但它们的预测可以通过单独观察节点来解释。