一文搞懂KL散度+信息熵

文章目录

      • KL散度
        • 含义
        • 计算公式
        • 举例
        • 结论
        • 代码

KL散度

含义

相对熵,又被称为Kullback-Leibler散度(Kullback-Leibler divergence)或信息散度(information divergence),是两个概率分布间差异的非对称性度量。

计算公式

P ( x ) 、 Q ( x ) P(x)、Q(x)

你可能感兴趣的:(知识蒸馏,python,KL散度,nlp,知识蒸馏)