【模型压缩】模型剪枝模块

模型剪枝模块

最基本的基于阈值策略

【模型压缩】模型剪枝模块_第1张图片

基于分布来选择阈值

  • 假定权重是符合一个正太分布
  • 正态分布有68% 小于标准差 将标准差作为阈值
  • 卷积层的敏感度要比全连接层更大:导致有些层over-pruning 有些层 under-pruning

【模型压缩】模型剪枝模块_第2张图片

设置预期的稀疏率

  • 权重值按照绝对值进行排序
  • 从最小的权重开始去除,直到得到想要的稀疏率

【模型压缩】模型剪枝模块_第3张图片

逐渐增加稀疏率AGP

  • 一种逐步剪枝方法
  • 在n个剪枝步骤中,稀疏度从初始的稀疏度(通常为0)增加到最终的稀疏度

【模型压缩】模型剪枝模块_第4张图片

RNN模型剪枝

【模型压缩】模型剪枝模块_第5张图片

基于幅度值的结构化剪枝

【模型压缩】模型剪枝模块_第6张图片

你可能感兴趣的:(#,pytorch,人工智能,剪枝,算法,机器学习)