《Learning both Weights and Connections for Efficient Neural Networks》阅读笔记

参考链接:https://xmfbit.github.io/2018/03/14/paper-network-prune-hansong/

主要思想:
作者的方法分为三个步骤:

  1. Train Connectivity: 按照正常方法训练初始模型。作者认为该模型中权重的大小表征了其重要程度
  2. Prune Connection: 将初始模型中那些低于某个阈值的的权重参数置成0(即所谓剪枝)
  3. Re-Train: 重新训练,以期其他未被剪枝的权重能够补偿pruning带来的精度下降

怎么训练?
剪枝前,使用L1或者L2正则化对模型参数进行约束。L1剪枝后,不训练的模型效果更好。但是按照L2训练,剪枝之后重新训练,恢复的准确率更高。

Dropout的选择?
在重新训练的时候,需要将dropout的比例调低。

你可能感兴趣的:(模型剪枝,模型剪枝,Learning,both,Weights,and,Connectio)