KL散度损失

KL散度损失

用途

比较两个概率分布的接近程度

KL散度计算

计算公式:

 

KL散度计算的就是数据原分布与近似分布的概率的对数差的期望值。

写成期望形式:

 

常见形式:

 

优化过程

不断改变预估分布的参数,可以得到不同KL散度的值,当KL散度取最小时,对应的参数就是我们想要的参数,过程如下:

KL散度损失_第1张图片

 

KL散度 = 交叉熵-信息熵

总结于文章:KL散度损失函数_brave_Wei的博客-CSDN博客_kl损失

你可能感兴趣的:(人工智能)