《Learning both Weights and Connections for Efficient Neural Networks》阅读笔记

参考链接：https://xmfbit.github.io/2018/03/14/paper-network-prune-hansong/

主要思想：
作者的方法分为三个步骤：

1. Train Connectivity: 按照正常方法训练初始模型。作者认为该模型中权重的大小表征了其重要程度
2. Prune Connection: 将初始模型中那些低于某个阈值的的权重参数置成0（即所谓剪枝）
3. Re-Train: 重新训练，以期其他未被剪枝的权重能够补偿pruning带来的精度下降

怎么训练？
剪枝前，使用L1或者L2正则化对模型参数进行约束。L1剪枝后，不训练的模型效果更好。但是按照L2训练，剪枝之后重新训练，恢复的准确率更高。

Dropout的选择？
在重新训练的时候，需要将dropout的比例调低。