TRAINED TERNARY QUANTIZATION 论文

本文是在TWQ(Ternary Weight Quantization)的基础上做出的改进,其流程可以简单概括为:
TRAINED TERNARY QUANTIZATION 论文_第1张图片

首先将全精度权重正则化到[-1,1]之间,
然后根据一个每层相同的阈值delta_t来进行量化(这里使用统一的t是为了缩小搜索空间,用每个通道不同的t应该能得到更好的表现,但感觉会增加过多的计算消耗)为-1,0和1,
在这里插入图片描述
Ps:还提了第二种方法,见5.1.1,但论文里没有这一节。。。
TRAINED TERNARY QUANTIZATION 论文_第2张图片

最后分别乘以Wn和Wp作为结果计算loss,再通过梯度下降更新Wn、Wp和原始梯度(这里使用了STE)。

Q:想知道这两个如果不是-1 1 是不是全精度的,那二值的意义在哪?
TRAINED TERNARY QUANTIZATION 论文_第3张图片

反向更新

全精度的梯度

TRAINED TERNARY QUANTIZATION 论文_第4张图片
量化的梯度
TRAINED TERNARY QUANTIZATION 论文_第5张图片

Q:具体怎么用怎么更新也没说
按照TWN (也是参考BNN XNOR的),只更新全精度的,三值化的只用于前向传播和反向传播

看这个图稍微好些,上面大小,下面数量分布
TRAINED TERNARY QUANTIZATION 论文_第6张图片

你可能感兴趣的:(模型量化)