P122 神经网络压缩Network compression-purning

在 边缘设备上跑时,模型太大,跑不动
、purn: 删减
P122 神经网络压缩Network compression-purning_第1张图片
删减以后,正确率有影响会下降
为解决这个问题,进行微调,每次只减一点参数,重复多次。 使得最后修剪后的模型跟原来的模型差别不大。

判断某一个参数是否重要,是否要去掉

P122 神经网络压缩Network compression-purning_第2张图片

问题:进行过修剪后不规则的网络,pytorch难以实现,也无法进行矩阵计算,在GPU上无法加速。

解决办法:修剪掉的weight ,设为0 ,这样能够进行GPU计算。 但是 这样的话,net 并没有减少
P122 神经网络压缩Network compression-purning_第3张图片
weight purning 不一定是有效的方法
那么 neuron purning 呢
P122 神经网络压缩Network compression-purning_第4张图片

为什么不直接train 小的 network
小的networ 不好 train
大的好train

你可能感兴趣的:(李宏毅机器学习课程学习笔记,神经网络,人工智能,深度学习)