模型压缩- 剪枝/量化/蒸馏/AutoML

原因
深度学习训练得到的网络复杂度高，参数冗余。

解决方式
（1）线性或非线性量化
（2）结构或非结构剪枝
（3）网络结构搜索
（4）权重矩阵的低秩分解
（5）蒸馏

目的
优化精度、性能、存储……使得可以在一些场景和设备上进行相应模型的部署。

剪枝

1、剪枝位置的判定一般根据权重。权重越小，证明该神经元的作用越小。

2、剪枝的方式：删去网络层上的权重的向量/整个神经元/单个像素（数据）。由于矩阵操作的并行化，减去单个像素或者向量并不能减少计算量。即大部分硬件并不支持稀疏矩阵的运输，所以剪枝操作一般是直接减去整个神经元。

3、判别剪神经元的位置，神经元激活后的数值，越接近0越没用。

4、剪枝流程： 训练、剪枝、得到权重、再训练。

5、训练技巧： 由于要进行剪枝，训练过程的优化器不能太剧烈，也不能太温柔。否则会破坏已有学到的东西。常用SGD优化器（较温和）。Adam为比较距离的优化器。

6、剪枝方式：

• 根据某种规则，按像素位置随机剪枝。
• 根据某种规则，按向量随机剪枝。
• 在卷积核上做剪枝。（根据卷积核模的大小，判定剪枝位置）
• 直接随机减去通道。
• 剪枝分为：结构式剪枝和非结构式剪枝。

7、实现原理： 压低权重，根据权重大的数据进行保留，没用的数值权重越来越小，逐渐消失。L1正则化，对数据的净输出做正则化。（净输出做归一化（norm）：使得一部分权重压低后，另一部分的权重会升高）

量化

1、基础理论：
精度：常规精度一般为FP32，存储模型权重；低精度一般为FP16,INT8……计算速度快。
混合精度：在模型中使用FP32和FP16。FP16减小了一半内存，但是有些参数和操作符必须用INT8。
量化的原理：量化一般值INT8，即把权重映射到INT8的范围之间，计算速度快。（量化的映射范围一般是不等分的，由于权重一般较小，在原点处可以近似看成等分。）

2、根据权重存储分为： 二值神经网络、三元权重网络、XNOR网络。

3、在工业上一般用FP32对模型进行训练（追求精度） ，对推理部分用INT8（提高性能）。

4、代码基本步骤： 详细可通过官方文档进行学习

• 网络打包分块（将一个网络子块进行打包后，一起量化。例如：conv + BN + Relu糅合成一个模块。）——这里注意要使用量化支持的板块。
• 准备评估工具。（例如：top1、top5精确度、耗时、存储大小……）
• 对原始网络进行训练。（先训练，后量化）
• 开始量化。（量化前和量化后的评估指标作对比）
• 做QAT伪训练。（量化后可能精确度下降，根据性能要求，再做训练）

蒸馏

1、蒸馏， 又叫做老师学生模型，属于迁移学习。

蒸馏的原理：先预训练一个大模型，用大模型教小模型（大模型的结果在神经元的级别上作为小模型的先验），使得小模型有大模型的精度，性能又比大模型高。

2、常用方法：
待更新

AutoML

1、NAS 神经架构搜索：

• 先定义一些神经网络结构。
• 将数据和网络结构随机组合。（让神经网络自己选择下一个组件）
• 一个结构预测下一个结构，最终组合成一个神经网络。再通过训练判定网络的好坏。

2、模拟退火法：（Light-NAS、Paddleslim……）

3、DARTS：基于梯度的架构搜索 详细解读见这个博主

• 这是基于强化学习的NAS
• 定义了八个组件。（33/55卷积、33/55空洞、最大池化、平均池化、无操作、断裂……）
• 先初始化N个结点，两点之间的操作是给定的七个组件中随机可选操作。
• 每个组件之间的可选操作定义为softmax，联合优化混合操作概率和权重。（一个操作的权重升高，其他操作的权重就会降低，知道只剩下一个可选项）
• 从混合操作概率中得到最终的网络结构。