【神经网络压缩加速之量化一】And the Bit Goes Down: Revisiting the Quantization of Neural Networks

摘要:

在本文中，我们解决了减少ResNet类卷积网络架构的内存占用问题。我们引入了一种矢量量化(Vector Quantization)方法，旨在保持网络输出的重建质量而不是其权重。 我们的方法的优点是它最小化了域内输入(in-domain inputs)的损失重建误差，并且不需要任何标记数据。 我们还使用字节对齐的码本(byte-aligned codebooks t)来生成压缩网络，并对CPU进行有效推断。我们通过将高性能的ResNet-50模型量化为5MB（20x压缩因子）的内存大小来验证我们的方法，同时在ImageNet对象分类和压缩Mask RCNN上保持精度为76％，大小约为6 MB。

Introduction