（摘要）ICLR 2017 神经网络压缩，Incremental Network Quantization: Towards Lossless CNNs with Low-Precision Weig

目录

原文

原文：https://arxiv.org/abs/1702.03044
代码：https://github.com/Zhouaojun/Incremental-Network-Quantization

摘要

Incremental Network Quantization(INQ)是一种神经网络压缩方法。它以已训练的任意全精度网络作为输入，输出权值为0或2的整数次幂的网络。
通过以下两个创新点，能有效解决压缩型网络准确率下降太多的问题。一方面，网络生成由三个相互依赖的操作组成，包括a）权值分割，b）分组量化和c）再训练。每一层的权重被分成两组，一组被量化，另一组被再训练以补偿第一组量化带来的精度损失。另一方面，以上三个操作不断迭代训练网络，直到所有的权重都被压缩。
用ImageNet库进行测试，测试了AlexNet，VGG-16，GoogleNet和ResNets（18和50），在5位量化的测试中，准确率均较32位浮点型有所提高。此外，以ResNet-18为例，在4位、3位和2位的量化中，其准确率与32位浮点的精度相类似。
此外，网络裁剪和INQ结合也有很好的效果。
使用INQ有望使深度学习神经网络在移动或者嵌入式设备中得到应用。