Quantization and Training of Neural Networks for EfficientInteger-Arithmetic-Only Inference量化学习

本片论文可谓是深度模型量化的经典之作，为此，虽有很多博主去解析，但还是想做个笔记记录学习成果；该论文共有如下贡献：

      1.提供了一个量化机制；量化了权重以及activations激活值为8bit整型数据，只有少数的bias量化为32bit整型，（思考bias的重要性，为何不量化为8bit，是否对结果有很大影响？？？）

    2.提供了量化推理框架，可以实现再整型运算的硬件上，例如e Qualcomm Hexagon

    3.我们提供了量化的训练框架，它是与推理框架共同设计，来减少与真实模型之间的accuracy的损失。

2.1. Quantization scheme

    量化推理

    量化机制是在推理时仅用整数运算，训练时使用使用浮点数，对于定义量化机制要对所有的，对于整型q以及对应的real value r是映射变换 affine mapping