模型压缩-量化-论文阅读-Differentiable Soft Quantization

Differentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks

pytorch 实现 https://github.com/ricky40403/DSQ

亮点

使用tanh函数拟合量化函数,解决量化函数不可导的问题,

framework

模型压缩-量化-论文阅读-Differentiable Soft Quantization_第1张图片
图中是一个2bit量化的例子,量化函数原本是一个4段的阶梯函数,DSQ使用三段tanh函数来拟合量化函数,并随着训练的进行,DSQ函数和量化函数越来越接近。

公式

模型压缩-量化-论文阅读-Differentiable Soft Quantization_第2张图片 模型压缩-量化-论文阅读-Differentiable Soft Quantization_第3张图片

Q s ( x ) Q_s(x) Qs(x) 是总体的拟合量化函数,其中 l l l是clip下界, u u u是clip上界。

DSQ和量化函数的相似度

模型压缩-量化-论文阅读-Differentiable Soft Quantization_第4张图片

用在 x = 0.5 x=0.5 x=0.5时量化函数和DSQ函数的差来拟合相似度,记为 α \alpha α α \alpha α越小,拟合量化函数和量化函数越接近。

导数

模型压缩-量化-论文阅读-Differentiable Soft Quantization_第5张图片 模型压缩-量化-论文阅读-Differentiable Soft Quantization_第6张图片

训练过程

前向:

模型压缩-量化-论文阅读-Differentiable Soft Quantization_第7张图片

反向:

模型压缩-量化-论文阅读-Differentiable Soft Quantization_第8张图片

实验效果

模型压缩-量化-论文阅读-Differentiable Soft Quantization_第9张图片

你可能感兴趣的:(模型压缩,量化)