GAN深度强化学习2

Theory Behind GAN

想要找出这种分布

真实分布未知，求出近似解

$P_G,P_{data}$未知


解释：





注： $${\int }_x{P}_{data}dx=1$$
$${\int }_x{P}_{G}dx=1$$








含有max，仍然可以做微分

discriminator 需要多次迭代
generator 迭代次数要少
G 每次只更新一点点，这样可以保证$V(G,D^{\ast })$变化很小


D 迭代多次
G 少次

non-saturating 非饱和
两种方式training效果差不多

Discriminator给target较高的值，G产生的数据较低的值

到最后，D无法分辨两种data

General Framework

f-GAN

PQ不同时，$D_f(P||Q)>0$
$D_f(P||Q)$用来衡量 PQ之间的差异
不同的f代表不同的divergence


穷举所有的x
conjugate 共轭
直观来看：

$f^{\ast }$也是convex

G 的分布太小

G 只分布一侧

不同的divergence 出现不同的问题

为了避免 mode collapse ，训练多个G,每个G中取一个image

Tips for Improving GAN

1二维空间的两条曲线，几乎没有重叠
2采样只是少量，很难overlap

无法从 $G_0$ 更新到 $G_1$


sigmoid 斜率为0，fake 无法向real 移动
wasserstein [ve]
a pile of earth 一堆土


每一行加起来应等于左侧值，列向也如此



(WGAN 最原始的做法) weight clipping 效果不好，并不能保证 1-Lipschitz


梯度小于等于1，没有惩罚
无法做到 all x ,所以从 $P_{penalty}$ 中 sample





不加 GP ,则可能不会收敛