帮助理解GAN的一些补充内容

熵的本质是香农信息量（log$\frac{1}{p}$），其中p表示信息确定性的概率。
信息熵即为信源不确定均值$H(u)=E[-log{P}_i]=-{\sum }_{i=1}^n{p}_{i}log{p}_i$
特点：根据非真实分布q得到的平均编码长度H(p,q)大于根据真实分布得到的平均编码长度H§，实际上H(p,q)>=H§恒成立
相对熵：由q得到的平均编码长度比由p得到的平均编码长度多出来的位就是相对熵$D(p||q)=H(p,q)-H(p)={\sum }_{i}p(i)\ast log\frac{p(i)}{q(i)}$，又称为KL散度
GAN产生训练不稳定的原因：g(z)至多产生的维度为dim(z)，如果$dim(z)<dim(x)$，则g(z)在x中的测度会非常小，也即它只能产生一个平面中的一条线（个人理解，详情可参考上一篇文章），所以如果g的输入维数比产生图像的维数低，那么它能产生的也只是一个零测集，当$P_r$的支撑集和$P_g$没有交集时，当D最优时，就会使G的梯度变得非常不稳定。
WGAN训练，采用SGD或RMSProp算法较好，一般不采用基于momentum的算法（如Adam），会导致训练变得不稳定，DCGAN采用Adam效果会比较好