Learning both Weights and Connections for Efficient Neural Network -- 论文笔记

这是2015年斯坦福和英伟达的一篇论文。

1.简介：

通过修剪训练后网络中的不重要连接（connections），来减少网络所需要的参数，减少内存和cpu的消耗，使网络更加适应在移动设备上运行。

2.idea思想：

1）首先训练整个网络，判断哪些是重要连接。

2）修剪不重要的连接。

3）重新训练修剪后的网络，微调保留下来的参数。

3.达到的效果：

1）在ImageNet上，减少了AlexNet 9倍的参数，从61 million的参数减少到6.1 million的参数；VGG网络则更是减少了16倍，并且修剪后的网路的accuracy没有下降。

2）可以防止过拟合

4.其它相关的工作：

1）用8位int型的activation代替16位float。

2）Network in Network和GoogleNet模型中使用了global average pooling代替FC层来减少参数，但在使用ImageNet的参数时，需要另外增加一个线性层。

3）dropout和本文的方法不同，dropout主要用来防止过拟合，并且是在训练过程中就产生0连接，而本文的方法则是在网络训练完之后对网络进行修剪，产生0连接。

4）HashNet这个本人没有看过，论文里作者猜想HashNet和pruning结合可能效果更好。

5.具体流程：

首先训练整个网络，目的是找出哪些是重要的连接；接着设置一个threshold，pruning掉low-weight的连接，将密集的网络变成稀疏的网络；最后则是对余下来的params进行微调，如果不微调，那么对网络的性能会有很大的影响。如图：

而使用本文的方法需要很大的技巧性：

1）Regularization：需要选择合适的regularization。L1范式会将更多的params转换成接近0，这在进行pruning之后，reTrain之前有很好的accuracy；L2范式在pruning和reTrain之后会降低accuracy。

2）Dropout and capacity control：dropout被当做“soft dropout”，而本文的方法则被当做“hard dropout”；这是因为dropout中被drop的在新的训练批时，可以被重新训练；而本文的则是直接去掉连接connections。而在使用本文方法的时候，dropout的ratio也分pruning之前和pruning不一样，具体如图所示：

3）Local Pruning and Parameter Co-adaptation：在reTrain的过程中，重新训练pruning后保存下来的weights比训练再次初始化的weights更好。其次，为了克服vanish gradient problem的问题，作者只训练pruning后shallow layer保存下来的params。

4）Iterative Pruning:其实就是重复的pruning，反复的找出不重要的连接然后pruning。

5）Pruning Neurons：一些0输入或者0输出的 neurons也能被pruned。