一文搞懂深度学习加速单元NPU的量化原理

量化带来的好处有很多，首先，由于训练好的神经网络对数据精度以及噪声的不敏感，通过量化将参数从4byte float转换为1byte，从而减少了数据量，进而可以使用容量更小的存储设备，节省了成本；其次，量化带来计算效率的提升，单位时间，单位能效内的计算成果多了，或者说，同样的算力需求的模型，所消费的时间和能量少了，结果就是又快又省电，现在的移动终端都是用电池供电的，也就意味着更久的续航和更好的体验。经过量化的模型变小，这样也便于在线升级模型和算法，量化的好处很多很多，后面有时间再补充。 

量化虽好，但也不是没有缺点，首先是相对于float32，量化类型(int8/int16/uint8)的精度和动态范围要小很多,精度会掉，如下图：

再一个缺点就是量化操作实现复杂不好理解，尤其是结合复杂的网络拓扑结构之后，更是千头万绪难以把握，经过多日的思考，自感小有收获，权且记录在此，至于对错，我一直认为只要是自己下功夫思考得出的结论，正确推理无疑是第一位的，但错误反而更能促使我们对问题多角度的深入思考，敏锐我们的神经，下次