模型压缩,剪枝,量化,加速总结

最近有朋友问我做过的L1剪枝方法怎么样,有没有资源;

因为这个是公司的事情,我也不能直接给资源,但是我还是将我使用过得压缩方法总结一下。

(还是由于自己忘性大,留给自己回忆):

1)L1剪枝方法:

查看如下资源,https://github.com/NervanaSystems/distiller

2)蒸馏:

查看论文:

《Mimicking Very Efficient Network for Objection》

(实现后效果很好用,在yolo上,没有精度损失)

《A Gift from Knowledge Distillation: Fast Optimization,Network Minimization and Transfer Learning》

(我实现的算法效果很差)

《Distillation the Knowledge in Neural Network》

(我的启蒙文章)

3)yolo的剪枝方法:

查看论文:《Object detection at 200 Frames Per Second》

(yolo上的压缩后效果没有文章《Mimicking Very Efficient Network for Objection》压的好)

参考:

https://blog.csdn.net/qq_22764813/article/details/88378275
https://blog.csdn.net/zhangjunhit/column/info/37467(很多相关论文解读)


你可能感兴趣的:(深度学习)