KL divergence

 真正的概率分布: A0 = 1/2,A1= 1/2

模型1:b1 = 1/4, b2 = 3/4

模型2:  c1 = 1/8, c2 = 7/8

哪一个模型更好的接近真正的概率分布?


D(A|| B)= 1/2log(1/2 / 1/4) + 1/2 log(1/2 / 3/4)

D (A || C)  = 1/2 log(1/2 / 1/8) + 1/2 log(1/2 / 7/8)

显然  B 好

你可能感兴趣的:(Math)