【模型剪枝】——开源项目总结

修剪是一种常用的压缩神经网络模型的技术。修剪方法探索模型权重（参数）中的冗余，并尝试删除/修剪冗余和非关键权重。冗余元素从模型中修剪，它们的值归零，我们确保它们不参与反向传播过程。

• pytorch-pruning https://github.com/jacobgil/pytorch-pruning - 一个通用的PyTorch模型剪枝库。支持非结构化剪枝和结构化剪枝。

• slim https://github.com/Eric-mingjie/rethinking-network-pruning - 基于重要性指标的结构化剪枝框架。

• torch-pruning https://github.com/VainF/Torch-Pruning - 实现了多种剪枝算法,如依赖性感知剪枝、L1剪枝等。

• NNi 模型压缩工具包 https://github.com/microsoft/nni/tree/master/examples/model_compress - Microsoft 提供的多种模型剪枝算法实现。

• Distiller https://github.com/NervanaSystems/distiller - Intel Labs公开的深度神经网络压缩工具包。

• TinyNeuralNetwork https://github.com/alibaba/TinyNeuralNetwork/blob/main/README_zh-CN.md - 阿里的一个高效、易用的深度学习模型压缩框架。它包含模型结构搜索、剪枝、量化、模型转换等功能， 能将巨大的深度学习模型压缩数倍到数十倍，目前在天猫精灵、海尔电视、优酷视频、人脸打卡机等场景中完成了落地，为超千万的IoT设备提供了AI能力。

• mmrazor https://github.com/open-mmlab/mmrazor - MMRazor是一个可用于模型瘦身和AutoML的模型压缩工具箱