【模型压缩】Distiller学习-初认识

Distiller学习-初认识

简介

  • Intel AILab的神经网络压缩框架,建立在Pytorch基础上

安装

【模型压缩】Distiller学习-初认识_第1张图片

压缩方法

  • 权重正则化方法
  • 权重剪枝方法
  • 训练后量化方法
  • 训练时量化方法
  • 条件计算
  • 低质分解方法
  • 知识蒸馏方法

【模型压缩】Distiller学习-初认识_第2张图片

总体目录

【模型压缩】Distiller学习-初认识_第3张图片

核心代码实现

【模型压缩】Distiller学习-初认识_第4张图片

所有案例的配置文件

【模型压缩】Distiller学习-初认识_第5张图片

举例

  • 初始化网络
  • 评价网络模型的参数重要性
  • 移除不重要的神经元
  • fine-tuning
  • 继续剪枝 重新训练

【模型压缩】Distiller学习-初认识_第6张图片

你可能感兴趣的:(人工智能,#,pytorch,学习)