[机器学习] 信息熵、交叉熵、KL散度、JS散度、Wasserstein距离

参考:https://blog.csdn.net/Dby_freedom/article/details/83374650
参考:https

文章目录

    • 1. 什么是熵(Entropy)?
      • 交叉熵和对数似然之间的关系?
        • 对数似然
        • 交叉熵损失函数
    • 2. 如何衡量两个事件/分布之间的不同(一):KL散度
    • 3. KL散度 = 交叉熵 - 熵?
    • 4. 为什么交叉熵可以用作代价?
    • 5. JS散度(对称)值域[0,1]
    • 6. Wasserstein距离

1. 什么是熵(Entropy)?

信息熵

你可能感兴趣的:(机器学习,机器学习)