机器学习——概念理解之模型量化

模型量化

模型量化: 指为了达到减小模型大小、减小推理时内存占用和加快模型的推理速度等目的，将训练得到的连续取值的浮点数类型的权重转换为整形存储(一般值int8)。

**为什么需要量化: ** 随着深度学习的发展，模型变得越来越庞大，这就非常不利于将模型应用到一些低成本的嵌入式系统的情况。为了解决该问题，模型量化应运而生。目的就是在损失少量精度的情况下对模型进行压缩，使模型可以应用到像手机、摄像头、机器人等嵌入设备中。