LQ-Nets: Learned Quantization for Highly Accurate and Compact Deep Neural Networks

ECCV-2018

ABSTRACT

虽然权重和激活值的量化是深度神经网络（DNN）压缩的有效方法，并且具有很大的潜力来提高利用位操作的推理速度，但是在量化模型和full precision模型之间的预测精度方面仍然存在明显的差距。为了弥补这个差距，我们提出了对量化的，位操作兼容的DNN及其相关量化器的联合训练方法，而不是使用固定的手工量化方案，如均匀或对数量化。我们学习量化器的方法适用于任意位精度(arbitrary bit)的网络权重和激活，并且我们的量化器很容易训练。对CIFAR-10和ImageNet数据集的全面实验表明，我们的方法可以很好地适用于各种网络结构，如AlexNet，VGG-Net，GoogLeNet，ResNet和DenseNet，在准确度方面超过以前的量化方法。代码可从https://github.com/Microsoft/LQ-Nets获取。

我们提出的方法可以用任意位宽量化权重和激活值。 与大多数先前的方法不同，我们的量化器在网络训练期间自适应地学习。