KL(q||p)与KL(p||q) variational inferenece

KL(q||p) 重视local的 big p(z), 不重视global，q(z)的z subspace 都对应p(z)的big probability mass,即，“重点打击”. 但是q(z)的z subspace不能 cover 所有p(z) 大的region. 例如在GMM中, 通常q(z_i)是没有closed form solution的，是depend on other q_i，couple的关系，计算需要iteration

KL(p||q) 重视global的，avg的，不重视local的，p(z) nonzero的地方，q(z)也要nonzero，即“全面打击”，但忽略局部特征。有closed form的solution for q_i