模型压缩----入门(未完待续....)

常见方法:

  • 修剪: 因为神经网络很多权重几乎为0, 这类参数作用不大, 部分参数删掉也不影响模型预测效果
  • 权重分解:权重矩阵可以进行低秩矩阵分解,从而使得一些参数为0
  • 削减精度:能用float32, 不用float64;   能用int,不用float
  • 共享权重:很多layer的参数可以共享,没必要用太多参数

你可能感兴趣的:(模型压缩)