信息熵，KL散度，JS散度

信息熵

信息熵(information entropy), 是一种度量随机变量包含信息的多少的指标。在介绍信息熵之前，可以先了解一下何为信息。信息可以理解为随机事件发生时，令人吃惊的程度。也即小概率事件发生时会带来更多的信息，而大概率事件发生带来的信息更少。因此考虑如下的函数形式：

该函数既保证了信息的非负性，同时也保证了低概率事件携带更多的信息。接下来，把各种可能出现的事件的信息量乘以其发生的概率之后求和，也即随机变量携带信息的期望：

上式即为信息熵的定义。信息熵也可以理解为系统的混乱程度。对于一个M维的离散型的随机变量 X = (1,0,0,...,0), ;同样任意对于M维随机变量，不难验证，当时，信息熵最大，。

KL散度

KL散度(Kullback–Leibler divergence), 又名相对熵(Relative entropy)，可以用来衡量两个概率分布的差异。

对于离散型随机变量，KL散度的定义如下：


KL散度有定义当且仅当：1、P(x)的和等于1，Q(x)的和等于1；
2、 且

e.g.
P = (1/2,1/2,0,0), Q = (1/3,2/3,0,0); 有定义
P = (1/2,1/2,0,0), Q = (1/3,1/3,1/3,0);无定义

对于连续型的随机变量，KL散度的定义如下：

ps: KL散度有两个重要的性质
1、不对称性，即
2、非负性，即。
性质1不难验证，下面我们来证明性质2：

code for KL divergence

import scipy.stats
def KL_divergence(p,q):
    return scipy.stats.entropy(p,q)

JS散度

JS散度(Jensen Shannon divergence), JS散度的定义基于KL散度。

对于离散型随机变量，JS散度又可以写成

ps: JS散度有定义的条件与KL散度有定义的条件相同
ps: JS散度有两个重要的性质
1、对称性，即
2、有界性，若log以2为底，则

code for JS divergence

import scipy.stats
def JS_divergence(p,q):
    M=(p+q)/2
    return 0.5*scipy.stats.entropy(p, M)+0.5*scipy.stats.entropy(q, M)

Reference:
Pattern Recognition and Machine Learning
https://en.wikipedia.org/wiki/Entropy_(information_theory)
https://zh.wikipedia.org/wiki/%E7%9B%B8%E5%AF%B9%E7%86%B5
https://en.wikipedia.org/wiki/Jensen%E2%80%93Shannon_divergence