【f-GAN】f-GAN:Training Generative Neural Samplers using Variational Divergence Minimization

1. f-divergence

用f-divergence来衡量两个分布得不同
【f-GAN】f-GAN:Training Generative Neural Samplers using Variational Divergence Minimization_第1张图片
不同的f(x)对应不同的divergence
【f-GAN】f-GAN:Training Generative Neural Samplers using Variational Divergence Minimization_第2张图片
用f(x)得Fenchel Conjugate将f(x)表示出来再带入D
令D(x)代替t,即输入为x输出为t=D(x),得到初始的f-divergence,此时是f-divergence得lower bound
【f-GAN】f-GAN:Training Generative Neural Samplers using Variational Divergence Minimization_第3张图片
接下来就是要找一个最好的D,来近似f-divergence
最后找一个G,使得f-divergence最小
【f-GAN】f-GAN:Training Generative Neural Samplers using Variational Divergence Minimization_第4张图片
各种不同得f(x)得到的divergence【f-GAN】f-GAN:Training Generative Neural Samplers using Variational Divergence Minimization_第5张图片
【f-GAN】f-GAN:Training Generative Neural Samplers using Variational Divergence Minimization_第6张图片

那么如何变成原始的GAN呢?

令D得输出激活函数为sigmoid函数,之后取log就得到原始GAN得loss fuction的第一项:
这里写图片描述
对应于第一个表格得倒数第二行和第二个表格的倒数第三行。他这里只不过用的是负对数

然后将f*(t)中的t用gf代替就得到原始GAN得loss fuction的第二项:
这里写图片描述

你可能感兴趣的:(【f-GAN】f-GAN:Training Generative Neural Samplers using Variational Divergence Minimization)