网络剪枝

1.全连接层剪枝

全连接层剪枝的学习，参考论文《DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING》

解决的问题：模型参数量的压缩，运算量的减少

解决思路：1.根据权重大小，删除参数。2.参数共享，量化权重矩阵，3.霍夫曼编码

结论：参数量压缩很大，30-40倍量级，运算速度，提高3-4倍。

2.卷积核剪枝

卷积核剪枝的学习可参考这篇论文《Pruning Filters For Efficient ConvNets》

解决如下问题：前人工作只对全连接层进行了剪枝，未处理卷积层

解决思路：对卷积核计算所有项的绝对值和，剪除绝对值和小的。

结论：在CIFAR10上，VGG-16的推理成本可降低高达34％，ResNet-110最高可降低38％，同时通过重新训练网络恢复接近原始精度。具体结果对比如下：