网络量化小结

网络量化作为一种重要的模型压缩方法，大致可以分为两类：

• 直接降低参数精度
  典型的工作包括二值网络，三值网络以及XNOR-Net. HORQ和Network Sketching相当于XNOR-Net的升级版，都是对残差继续做量化，寻求精度和速度的折中。另外，“Incremental network quantization” 这篇工作也是对二值网络的改进，作者认为直接将所有参数二值化有可能使网络陷入一个比较差的局部极小点，所有通过增量二值化的方式来避免这种情况的发生，以寻找一个更好的局部最优解。“Fixed point Factorized Network”这篇工作将低秩分解和量化做了一个结合，在做SVD分解的同时也做二值化。

• CodeBook近似权重
  “Quantized CNN for Mobile Devices” 这篇文章用一个小矩阵（codebook）去量化大矩阵（权重矩阵），有点像矩阵低秩分解的做法。