信息论——熵,散度,Wasserstein distance

信息熵

            H(x)=-\int _{x}P(x)log(P(x))dx

信息熵表示一个随机变量在经过随机事件结果,随机变量状态量的大小。


条件熵

表示的是在已知随机变量X的前提下,随机变量Y的信息熵,注意X是随机变量。

H(Y|X) = \sum_{x,y}p(x,y)log\frac{p(x)}{p(x,y)}

链式法则:

H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)


互信息

由链式法则,H(X)-H(X|Y)=H(Y)-H(Y|X)

互信息I(X;Y) = H(X)-H(X|Y)

             = H(x)+H(Y)-H(X,Y)

             = \sum_{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}

表示的是一个随机变量X信息量有多少是关于X,Y互相包含的信息。


距离函数

定义一个集合元素之间的距离的函数。

d:x*x->[0,+\infin)并且满足以下条件:

  1. d(x,y)>=0
  2. d(x,y)=0<=>x=y
  3. d(x,y) = d(y,x)
  4. d(x,z)<=d(x,y)+d(y,z)

Total Variation distance (TV)

\theta(P,Q)=sup_{A\in F}|P(A)-Q(A)|

描述两个分布的距离,L1正则化。


KL divergence

  1. KL不具有对称性,KL(P||Q) != KL(Q||P).
  2. KL不具有可比性,K(P||Q)>KL(R||Q),不能说明分布P更接近Q.
    KL(P||Q)= -\int_{x}P(x)log\frac{Q(x)}{P(x)}dx
    描述的是两个分布之间的相似性。但是有以上缺点

f-divergence

D_{f}(p||q)=\int q(x)f(\frac{p(x)}{q(x)})dx
当f取-log时,f散度是KL散度


Jensen-Shanno divergence

JSD(P||Q)=0.5*KL(P||M)+0.5*KL(Q||M)M=0.5*(P+Q)
1. JS散度和互信息有相关性
2. JS散度范围是[0,1]
3. JS散度具有可比性
描述的是两个分布之间的距离。


Wasserstein distance

描述的是从分布P(x)移动到分布Q(x)所需要的最小代价。

W_{p}(u,v) =inf_{r\in T(u,v)} \int_{M*M}(d(x,y))^{p}dr(x,y)^{p}

r(x,y)是要满足的约束。

你可能感兴趣的:(信息论)