CNN：模型量化训练和部署

量化是指在比floating point precision更低bitwidths进行计算和存储tensors。当使用INT8的量化模型时，相比于FP32，模型的大小会减小4倍，占用的带宽减小4倍，硬件上的运行速度会快2~4倍。

训练后量化Post-training quantization：

• 混合量化--仅量化权重
• 全整型量化--权重和激活值都进行量化
• 半精度float16量化--仅量化权重

量化感知训练（Quantization-aware training）

整个QAT的过程还是以floating point形式计算的，是加入fake_quant模块进行clamping和rounding来模拟INT8的效果。在训练后，把QAT训练好的模型的权重和激活层进行quantize，并把激活层融合到之前层里，转化到lower precision。

首先，在构建模型时floating point model时需要插入fake_quant modules，在开始时插入QuantStub，把floating point的tensors转化到quantized，在结束时插入DeQuantStub把quantized tensors转化为floating point。

随后，需要设置qconfig，决定了插入的observers的类型，比如是对称量化还是非对称量化、MinMax还是L2Norm校准。接下来为QAT进行prepare_qat，在该步骤中插入的observers和fake_quants，以在calibration的过程中观察权重和激活tensors。

最后，完成QAT训练后，进行模型转换，在convert的过程中进行权重的量化、计算和保存scale和bias的值。

详细过程可以参考：

Quantization — PyTorch 1.12 documentation

 是一种伪量化的过程，它是在可识别的某些操作内嵌入伪量化节点，用以统计训练时流经该节点数据的最大最小值，便于在转换格式时量化使用并减少精度损失。伪量化节点的意义在于统计流经数据的最大最小值并参与前向传播提升精确度，但其在转换为量化模型后，其工作原理还是与训练后量化方式一致的！

Tensorflow模型量化(Quantization)原理及其实现方法 - 知乎

模型NCHW和NHWC排布在内存中的差异：

深度学习NCHW和NHWC数据格式（由三维数据转换成一维数据的遍历方式）_Dontla的博客-CSDN博客_nchw