学习笔记——神经网络压缩

以下内容来源与李宏毅老师的课程。

当我们需要将模型部署在一些移动设备上时，但是现在的移动设备的资源是有限的，而存储的空间也是有限的，计算量也是有限的，所以就不能存太大的网络结构，否则就不能实时进行。

一、Network Pruning——网络剪枝

大概的意思就是将一个比较大的network，他的一些weight或者是一些neuron剪掉，让他变得比较小。

• 问题：为什么能够剪枝处理？

因为现在一般会相信，网络通常被过度参数化（存在大量冗余权重或神经元）

那些现在，将这些没有用到的权重或者是神经元将其剪掉，这样处理之后就会得到一个比较小的网络结构。

如图所示，现在一般来说有一些简单的步骤：

1）将训练好的网络去评估weight与neuron的重要性，进行一个排序，然后剔除比较靠后的值。

• 如何衡量一个weight或者是一个neuron的重要性呢？

如果一个weight的值接近于0，那可以相信这个weight是没有那么重要的，而当这个weight的值正很大或者是负很大，那么有理由相信其是比较重要的。

同样的，对于一个神经元来说，如果一个神经元的输出几乎为0，那么就有理由相信这个神经元是没有什么作用的。

2）剪枝之后，将网络进行微调，如果模型已经够小了，那么就可以结束剪枝操作了，如果还比较大，那么可以重复这个过程直到满足要求为止。

但是，既然大的网络需要剪枝处理，那么为什么一开始就不训练一个小的网络呢？一个可能的感受是，小的网络比较难以去训练，然后大的网络比较容易去优化，去优化。一般来说，训练过程中存在鞍点或者局部最优解的问题。而如果网络够大，那么这种情况就不会太严重。现在有足够多的文献可以证明，只要网络够大够深，就可以用gradient descent直接找到全局最优解。所以训练一个大的网络，再剪枝处理是比较好的

一个比较好玩的解释是，在一个大的网络结构中，其实可以看成是有很多个小的网络组成的，每一个小的网络就有可能是一种初始化的参数，而这些小的网络有些可以train起来，而有些会train不起来。所以大的网络结构中容易训练的原因可能是，其中这么多个小网络，只有有一个可以train起来了，那么大的网络就可以train起来了。paper链接：https://arxiv.org/abs/1803.03635

• 问题：prun weight与prun neuron哪个会比较好？

在实际的操作过程中，如果是prun weight其实是不太好实现的，因为网络架构变得不规则。有些神经元有2个输入，而有些有4个。

就算是有办法实现，由于是不规则矩阵，所以就没有办法使用GPU加速的。使用一般来说，将weight设为0，就是假设其被prun掉了。但是这样做的话其实是没有减小模型的大小的。

所以，prun neuron是比较容易操作的，因为网络架构是规则的。

二、Knowledge Distillation——知识蒸馏

如图所以，知识蒸馏的过程是相当于用一个大的模型去带一个小的模型。现在训练好一个比较大的模型，然后将这个大模型的输出让小模型去训练，这时候可能会得到一些比较好的结果。有时还会出现一些神奇的地方就是，小模型从大模型中知道了数字”7“长的比较像数字”1“与“9”，而当其没有看见过数字“7”的时候还可能正确的识别到。(为了获得更好的软标签)

另外一个比较有用的地方是，其可以将集成的模型全部变成一个模型，也就是将一堆模型的得到的结果去平均起来，然后让这个学生模型去学习这个Emseble Network的output，现在希望这个student Network的结果与这个ensemble的结果一样。所以现在只需要一个model就可以得到类似ensemble的效果。

在实际处理中，为了避免出现one-hot的label值，所以会希望这个不同的label间的分数拉近一点，这样就可以使得其与真正的data学习到的内容不一样。

不过好像实际效果没有很好。

三、Parameter Quantization——参数量化

一些方法：

1）使用较少的位来表示一个值
2）权重聚类

3）用较少的比特表示频繁的簇，用较多的比特表示稀有的簇 eg：Huffman encoding（略）

四、Architecture Design——架构设计

调整network的架构设计让其变得只需要比较少的参数

1. Full connect

插入一层线性的全连接层使得参数量减少，但这样的话会一定程度上限制了network训练出来的参数，也会限制network原来可以做到的事情。

2. Depthwise Separable Convolution

具体细节在另外的一篇blog有详细介绍：https://blog.csdn.net/weixin_44751294/article/details/116883445

DW卷积 MobileNet中提出的一种卷积结构，其实是一种特殊的组卷积，可以减少卷积的计算量。每一个fulter只需要处理一个channels就可以了。

PW 卷积 也是MobileNet中提出，需要和DW卷积一起使用，其实也就是1x1的卷积，这个是GoogleNet中提出

DW卷积 + PW卷积 = DWP深度可分离卷积，使用与轻量级网络中，可以减少Flops的计算量。

对于这样的结构被广泛在各种的轻量级网络中：

• SqueezeNet：https://arxiv.org/abs/1602.07360
• MobileNet：https://arxiv.org/abs/1704.04861
• ShuffleNet：https://arxiv.org/abs/1707.01083
• Xception：https://arxiv.org/abs/1610.02357

五、Dynamic Computation——动态计算

1.Train multiple classifiers

但是一般来说移动设备上的内存不足以存储多个网络模型

2.Classifiers at the intermedia layer

动态的调整中间层的分类结果，如果资源还充足就训练比较好的网络；而如果资源不充足，就使用比较前面的一些网络的输出结果，不过这也会破坏CNN的结构，因为前面的一些中间层提前的至少一些低维特征，不容易分别。如图所示。