【第62篇】DepGraph：适用任何结构的剪枝

摘要

源码：https://github.com/VainF/Torch-Pruning
结构剪枝通过从神经网络中去除结构分组参数来实现模型加速。然而，参数分组模式在不同的模型之间差异很大，这使得依赖于手动设计的分组方案的特定于体系结构的剪枝器对新的体系结构无法通用。在这项工作中，我们研究了一个极具挑战性但很少探索的任务，任何结构剪枝，以解决任意架构的一般结构剪枝，如cnn, rnn, gnn和变形金刚。实现这一雄心勃勃的目标最突出的障碍在于结构耦合，它不仅迫使不同的层同时被剪枝，而且还期望被删除的组中的所有参数始终不重要，从而避免剪枝后的显著性能下降。为了解决这一问题