机器学习信息熵和热力学定律中的熵有关系吗?

在AI量化阶段应用KL散度来计算量化前后两笔tensor之间的信息损失程度,然后根据信息损失去调整量化参数,通过不断调整,选择使KL散度最小的 ZP和SCALE值作为量化参数,达到使量化信息损失最少的目的,关于这些介绍,可以参考博文:

模型量化中的KL散度扫盲_papaofdoudou的博客-CSDN博客_kl三度

使用NCNN的INT8量化方式进行推理_papaofdoudou的博客-CSDN博客_ncnn量化

KL散度计算公式:

你可能感兴趣的:(数学,人工智能,机器学习,深度学习)