阅读笔记：深度神经网络模型压缩与加速
原文：A Survey of Model Compression and Acceleration for Deep Neural Networks
参考博客：综述论文：当前深度神经网络模型压缩和加速方法速览，译文由机器之心出品，原文来自arXiv，作者Yu Cheng等
概述
大型神经网络具有大量的层级与结点，特别是对于在线学习、增量学习等实时应用，考虑如何减少它们所需要的内存与计算量极为重要。
高效的深度学习方法可以显著地影响分布式系统、嵌入式设备和用于人工智能的 FPGA 等。典型的例子是 ResNet-50[5]，它有 50 层卷积网络、超过 95MB 的储存需求和计算每一张图片所需要的浮点数乘法时间。如果剪枝一些冗余的权重后，其大概能节约 75% 的参数和 50% 的计算时间。
压缩模型的设计涉及多个学科：不限于机器学习、最优化、计算机架构、数据压缩、索引和硬件设计等。
深度神经网络压缩方法，分四个级别：
- 参数修剪（parameter pruning）与共享：探索模型参数中冗余的部分，并尝试去除冗余和不重要的参数
- 低秩分解（Low-rank factorization）：使用矩阵/张量分解以估计深层 CNN 中最具信息量的参数
- 迁移/压缩卷积滤波器（transferred/compact convolutional filters）：设计特殊结构的卷积滤波器以减少存储和计算的复杂度
- 知识精炼（knowledge distillation）：学习一个精炼模型，即训练一个更加紧凑的神经网络以再现大型网络的输出结果
表1表明
- 参数修剪和分享、低秩分解和知识精炼方法可以通过全连接层和卷积层用于 DNN，它们能实现有竞争力的性能。另外，使用迁移/压缩滤波器的方法只适用于全卷积神经网络。
- 低秩分解和迁移/压缩滤波器的方法提供了一种端到端的流程，并且它们很容易直接在 CPU/GPU 环境中实现。而参数修剪和共享使用了不同的方法，如向量量化、二进制编码和系数约束以执行这些任务，通常他们需要花一些处理步骤才能达到最终的目标。
- 至于训练协议，基于参数修剪/共享、低秩分解的模型可以从预训练的模型中抽取或者从头开始训练，这些训练比较灵活高效。而迁移/压缩滤波器和知识精炼模型只支持从头开始训练。这些方法独立设计，互为补充。例如，迁移层和参数修剪/共享可以一起使用，模型量化/二进制化（binarization）可以和低秩分解一起使用，以实现进一步提速。
参数修剪和共享
根据减少冗余（信息冗余或参数空间冗余）的方式，这些技术可以进一步分为三类：模型量化和二进制化、参数共享和结构化矩阵（structural matrix）
模型量化和二进制化
网络量化通过减少表示每个权重所需的比特数来压缩原始网络。Gong等人[6]和 Wu等人[7]对参数值使用 K 均值标量量化。Vanhoucke等人[8]展示了 8 比特参数量化可以在准确率损失极小的同时实现大幅加速。[9]中的研究在基于随机修约（stochastic rounding）的 CNN 训练中使用 16 比特定点表示法（fixed-point representation），显著降低内存和浮点运算，同时分类准确率几乎没有受到损失。[10] 提出的方法是首先修剪不重要的连接，重新训练稀疏连接的网络。然后使用权重共享量化连接的权重，再对量化后的权重和码本（codebook）使用霍夫曼编码，以进一步降低压缩率。如图1所示，该方法首先通过正常的网络训练来学习连接，然后再修剪权重较小的连接，最后重新训练网络来学习剩余稀疏连接的最终权重。
图1.[10]中提到的三阶段压缩方法：修剪、量化（quantization）和霍夫曼编码。修剪减少了需要编码的权重数量，量化和霍夫曼编码减少了用于对每个权重编码的比特数。稀疏表示的元数据包含压缩率。压缩机制不会带来任何准确率损失。
缺陷：（1）此类二元网络的准确率在处理大型 CNN 网络如 GoogleNet 时会大大降低；（2）现有的二进制化方法都基于简单的矩阵近似，忽视了二进制化对准确率损失的影响。
剪枝和共享
网络剪枝和共享已经被用于降低网络复杂度和解决过拟合问题。有一种早期应用的剪枝方法称为偏差权重衰减（Biased Weight Decay），其中最优脑损伤（Optimal Brain Damage）和最优脑手术（Optimal Brain Surgeon）方法基于损失函数的 Hessian 矩阵减少连接的数量，他们的研究表明这种剪枝方法的精确度比基于重要性的剪枝方法（比如 weight dDecay 方法）更高。
缺陷：剪枝和共享方法存在一些潜在的问题。首先，若使用了 L1 或 L2 正则化，则剪枝方法需要更多的迭代次数才能收敛，此外，所有的剪枝方法都需要手动设置层的敏感度，即需要精调超参数，在某些应用中会显得很冗长繁重。
设计结构化矩阵
如果一个 m x n 阶矩阵只需要少于 m×n 个参数来描述，就是一个结构化矩阵（structured matrix）。通常这样的结构不仅能减少内存消耗，还能通过快速的矩阵-向量乘法和梯度计算显著加快推理和训练的速度。
低秩分解和稀疏性
一个典型的 CNN 卷积核是一个 4D 张量，需要注意的是这些张量中可能存在大量的冗余。而基于张量分解的思想也许是减少冗余的很有潜力的方法。而全连接层也可以当成一个 2D 矩阵，低秩分解同样可行。
所有近似过程都是一层接着一层做的，在一个层经过低秩滤波器近似之后，该层的参数就被固定了，而之前的层已经用一种重构误差标准（reconstruction error criterion）微调过。图2是压缩 2D 卷积层的典型低秩方法。
缺陷：低秩方法很适合模型压缩和加速，该方法补充了深度学习的近期发展，如 dropout、修正单元（rectified unit）和 maxout。但是（1）低秩方法的实现并不容易，因为它涉及计算成本高昂的分解操作；（2）目前的方法是逐层执行低秩近似，无法执行非常重要的全局参数压缩，因为不同的层具备不同的信息；（3）分解需要大量的重新训练来达到收敛。
图2.CNN 模型压缩的低秩近似（Low-rank approximation）。左：原始卷积层。右：使用秩 K 进行低秩约束的卷积层
表2.低秩模型及其基线模型在 ILSVRC-2012 数据集上的性能对比。
迁移/压缩卷积滤波器
等变群论（equivariant group theory）
使 x 作为输入，Φ(·) 作为网络或层，T (·) 作为变换矩阵。则等变概念可以定义为：
即，使用变换矩阵 T (·) 转换输入 x，然后将其传送至网络或层Φ(·)，其结果和先将 x 映射到网络再变换映射后的表征结果一致。该理论说明将变换矩阵应用到层或滤波器Φ(·) 来对整个网络模型进行压缩是合理的。得到表3结果：
表 3. 基于迁移卷积滤波器的不同方法在 CIFAR-10 和 CIFAR-100 数据集上的性能对比。
缺陷：将迁移信息应用到卷积滤波器的方法需要解决几个问题。首先，这些方法的性能可与宽/平坦的架构（如 VGGNet）相媲美，但是无法与较窄/特殊的架构（如 GoogleNet、Res-Net）相比。其次，迁移假设有时过于强大以致于无法指导算法，使得在某些数据集上的结果不稳定。
知识精炼
据我们所知，Caruana 等人 [49] 首先提出利用知识迁移（KT）来压缩模型。他们通过集成强分类器标注的伪数据训练了一个压缩模型，并再现了原大型网络的输出结果。然而他们的工作仅限于浅层网络。这个想法近来在 [50] 中扩展为知识精炼（Knowledge Distillation/KD），它可以将深度和宽度的网络压缩为浅层模型，该压缩模型模仿了复杂模型所能实现的功能。KD 的基本思想是通过软 softmax 学习教师模型输出的类别分布而降大型教师模型（teacher model）的知识精炼为较小的模型。
[51] 中的工作引入了 KD 压缩框架，即通过遵循学生-教师的范式减少深度网络的训练量，这种学生-教师的范式即通过软化教师的输出而惩罚学生。该框架将深层网络（教师）的集成压缩为相同深度的学生网络。为了完成这一点，要训练学生模型以预测教师模型的输出，即真实的分类标签。尽管 KD 方法十分简单，但它同样在各种图像分类任务中表现出期望的结果。
缺陷：基于 KD 的方法能令更深的模型变得更加浅而显著地降低计算成本。但是也有一些缺点，例如 KD 方法只能用于具有 Softmax 损失函数分类任务，这阻碍了其应用。另一个缺点是模型的假设有时过于严格，以至于其性能有时比不上其它方法。
表4. 模型压缩不同的代表性研究中使用的基线模型。
讨论与挑战
存在的挑战：
- 目前大多数的顶尖方法都建立在设计完善的 CNN 模型的基础上，这限制了改变配置的自由度（例如，网络结构和超参数）。为了处理更加复杂的任务，还需要更加可靠的模型压缩方法
- 剪枝是一种压缩和加速 CNN 的有效方式。目前大多数的剪枝技术都是以减少神经元之间的连接设计的。另一方面，对通道进行剪枝可以直接减小特征映射的宽度并压缩模型。这很有效，但也存在挑战，因为减少通道会显著地改变下一层的输入。确定这类问题的解决方式同样很重要
- 结构化矩阵和迁移卷积滤波器方法必须使模型具有人类先验知识，这对模型的性能和稳定性有显著的影响。研究如何控制强加先验知识的影响是很重要的
- 知识精炼（knowledge distillation/KD）方法有很多益处比如不需要特定的硬件或实现就能直接加速模型。开发基于 KD 的方法并探索如何提升性能仍然值得一试
- 多种小型平台（例如，移动设备、机器人、自动驾驶汽车）的硬件限制仍然是阻碍深层 CNN 扩展的主要问题。如何全面利用有限的可用计算资源以及如何为这些平台设计特定的压缩方法仍然是个挑战