KL(Kullback-Leibler)散度——衡量两个概率分布的相似性的度量指标

今天，我们介绍机器学习里非常常用的一个概念，KL 散度，这是一个用来衡量两个概率分布的相似性的一个度量指标。我们知道，现实世界里的任何观察都可以看成表示成信息和数据，一般来说，我们无法获取数据的总体，我们只能拿到数据的部分样本，根据数据的部分样本，我们会对数据的整体做一个近似的估计，而数据整体本身有一个真实的分布（我们可能永远无法知道），那么近似估计的概率分布和数据整体真实的概率分布的相似度，或者说差异程度，可以用 KL 散度来表示。

————————————————
版权声明：本文为CSDN博主「Matrix_11」的原创文章，遵循CC 4.0 BY-SA版权协议，
原文链接：https://blog.csdn.net/matrix_space/article/details/80550561