模型压缩技(1)——参数二值化

这是一个模型压缩很简单的方法。

我们知道DropConnect网络,就是随机把某些连接权重置为0。
模型压缩技(1)——参数二值化_第1张图片
DropConnect网络

而参数二值化是把大于等于0的所有连接权重置为1;把小于0的所有连接权重置为-1。
参数二值化

每一个权重假设本来用32bit表示,压缩后每个只用1bit,直接压缩了32倍。
这样压缩,模型性能还能好吗?

确实,模型性能会下降,但是对比其他压缩方法来说,同样压缩32倍的情况下,二值化的性能比其它压缩方法好。
模型压缩技(1)——参数二值化_第2张图片
压缩方法性能对比图

纵轴是分类错误率,横轴是压缩率。可以看到在压缩率为32的情况下,其他压缩方法的分类错误率在Binary的上方。

欢迎关注微信订阅号:


模型压缩技(1)——参数二值化_第3张图片

你可能感兴趣的:(模型压缩技(1)——参数二值化)