模型压缩

简介

• 目的
  模型压缩技术的核心是确定每个层的压缩策略，因为它们具有不同的冗余，这通常需要手工试验和领域专业知识来探索模型大小、速度和准确性之间的大设计空间。这个设计空间非常大，人工探索法通常是次优的，而且手动进行模型压缩非常耗时。

在一般的剪枝算法中，我们通常遵循一些基本策略：比如在提取低级特征的参数较少的第一层中剪掉更少的参数，对冗余性更高的FC层剪掉更多的参数。然而，由于深度神经网络中的层不是孤立的，这些基于规则的剪枝策略并不是最优的，也不能从一个模型迁移到另一个模型。

AMC方法便是在该背景下，利用强化学习自动搜索并提高模型压缩的质量，该框架是每一层进行独立压缩，前一层压缩完之后再往后层进行传播，t层接受该层的输入特征s_t，输出稀疏比率a_t，按照a_t对该层进行压缩后，智能体移动到下一层L_t+1

作者们对两类场景进行了实验，第一类是受延迟影响较大的应用如移动APP，使用的是资源受限的压缩，这样就可以在满足低FLOP和延迟，小模型的情况下实现最好的准确率；这一类场景作者通过限制搜索空间来实现，在搜索空间中，动作空间（剪枝率）受到限制，使得被智能体压缩的模型总是低于资源预算。

另一类是追求精度的应用如Google Photos，就需要在保证准确率的情况下压缩得到更小的模型。对于这一类场景，作者定义了一个奖励，它是准确率和硬件资源的函数。基于这个奖励函数，智能体在不损害模型准确率的前提下探索压缩极限。

因为剪枝对通道数特别敏感，所以这里不再是使用离散的空间，如{128,256}，而是使用连续的空间，使用deep deterministic policy gradient (DDPG)来控制压缩比率。

模型的优化技术包括设计更高效的模型结构，模型剪枝，量化技术等，如今随着AutoML技术的发展，也有了更广阔的空间

研究人员的目标是自动查找任意网络的压缩策略，以实现比人为设计的基于规则的模型压缩方法更好的性能。

AutoML简介
http://www.elecfans.com/d/776191.html
【AutoML】如何使用强化学习进行模型剪枝？

相关工作
与现有的技术相比 （NAS nerual architecture search [57]、NT network Transformation[6]、N2N network to network[2] ）本文提出的方法AMC不是对网络结构的路径搜索，而是采用强化学习中的DDPG（深度确定性策略梯度法）来产生连续空间上的具体压缩比率，通过约束FLOPs和准确率设定奖励值，因此得到的压缩策略是适应当前硬件环境的。