DFQ量化论文阅读

Data-Free Quantization Through Weight Equalization and Bias Correction

高通的训练后量化，提高性能

量化的不同水平

水平1：无需数据和反向传播

水平2：需要数据但不需要反向传播，例如IAO的校准

水平3：需要数据也需要反向传播，即模型量化之后需要微调，而且量化方法可以适用于所有模型

水平4：需要数据和反向传播，但是针对特殊的模型，其会先寻找模型的量化友好结构，比如针对mobilenet的量化，通过去除每个通道的BN和非线性激活函数减少通道之间的差异。

思路

动机

在使用纯整型量化方法对MobileNetV2进行量化时，精度从70.9%降到了0.1%，google白皮书中使用逐通道量化和感知训练的方法提高性能，作者则想用无数据的量化来提高精度

权重张量范围

MobileNetV2的结果表明，输出通道之间权重分布差异非常大，作者推测，量化后模型的性能可以通过调整每个输出通道的权重来提高

有偏量化误差

作者认为量化后模型与原模型输出存在偏置，而不能通过平均每个通道的偏置消除，因此作者想对偏置进行评估，并且校正偏置

跨层范围均衡

理想情况下，每个通道的权重范围等于这个张量或者整层的权重范围，就可以达到很好的结果。

设定比例系数矩阵S改变各个通道的权重分布，对于相邻两层：

使得两层各个通道权重分布率p_i（通道权重分布除总权重分布）之和最大：

经过求解获得：

即令相邻两层权重范围均衡。

由于S的引入不仅改变了权重，也改变了偏置，

因此会改变激活层的范围，当S小于1时，激活层的范围会变大，需要去除这个偏差。用了类似的办法：

相邻两层使用偏置参数C来调节激活层的范围。

为了在无数据的条件下获得C，其利用BN层的β和γ，令C=max(0,β-3γ)，假设激活层满足高斯分布，c就能满足大部分输入。

意思就是如果激活层本来比较大，就减去一个值。

每相邻两层进行均衡，不断迭代，直到获得最优量化误差

量化偏差校正

获得每个通道的偏差比较简单，比较输出就可以：

同时

因此需要获得输入的均值，为了不使用数据，其利用BN层的值。由于BN层后的ReLU，需要对均值μ和方差 σ进行调整：

f(x)为ReLU，p(x)为均值为μ，方差为 σ的正态分布。

输入结果：

极其复杂，还要求分部积分

这样就能评估每个通道的偏差了。

结果还是很牛皮的，还能做目标检测和语义分割