KL(q||p)与KL(p||q) variational inferenece

KL(q||p) 重视local的 big p(z), 不重视global,q(z)的z subspace 都对应p(z)的big probability mass,即,“重点打击”. 但是q(z)的z subspace不能 cover 所有p(z) 大的region. 例如在GMM中, 通常q(z_i)是没有closed form solution的,是depend on other q_i,couple的关系,计算需要iteration

KL(p||q) 重视global的,avg的,不重视local的,p(z) nonzero的地方,q(z)也要nonzero,即“全面打击”,但忽略局部特征。有closed form的solution for q_i



你可能感兴趣的:(KL(q||p)与KL(p||q) variational inferenece)