AVB

Adversarial Variational Bayes:Unifying Variational Autoencoders and Generative Adversarial Networks

AVB提出了一个更加灵活的inference模型，具体如下图所示。

首先回归下VAE，其目标函数为ELBO$$\begin{array}{rl}\log p_{\theta }(x)\ge -\mathrm{K}\mathrm{L}\left(q_{\varphi }(z|x),p(z)\right)& +{\mathrm{E}}_{q_{\varphi }(z|x)}\log p_{\theta }(x|z)\end{array}$$如果存在一个$\varphi$使得$q_{\varphi }(z|x)=p_{\theta }(z|x)$，那么$$\begin{array}{rl}\log p_{\theta }(x)=\underset{\varphi }{\max }-\mathrm{K}\mathrm{L}(& q_{\varphi }(z|x),p(z))+{\mathrm{E}}_{q_{\varphi }(z|x)}\log p_{\theta }(x|z)\end{array}$$但是一般来说这是不可能的。我们优化的目标一般是$${\mathrm{E}}_{p_{\mathcal{D}}(x)}\log p_{\theta }(x)$$，但是上式是难于直接运算的，往往转化为$$\begin{array}{r}{\max }_{\theta }{\max }_{\varphi }{\mathrm{E}}_{p_{\mathcal{D}}(x)}[-\mathrm{K}\mathrm{L}\left(q_{\varphi }(z|x),p(z)\right)+{\mathrm{E}}_{q_{\varphi }(z|x)}\log p_{\theta }(x|z)]\end{array}$$由于$q_{\varphi }(z|x)$往往选择为一个易于处理的分布，但这样就限制了模型的灵活性，从而会出现VAE生成的图比较模糊等问题。
下面介绍本文的方法，我们的优化问题为$$\begin{array}{rl}\underset{\theta }{\max }\underset{\varphi }{\max }{\mathrm{E}}_{p_{\mathcal{D}}}(x)& {\mathrm{E}}_{q_{\varphi }}(z|x)(\log p(z)-\log q_{\varphi }(z|x)+\log p_{\theta }(x|z))\end{array}$$本文中采用一种隐含的方式表示$\log p(z)-\log q_{\varphi }(z|x)$，从而不能像VAE那样使用重参数和随机梯度进行优化。引入判别网络$T(x,z)$，使得其最优值刚好为$\log p(z)-\log q_{\varphi }(z|x)$。具体来说，考虑以下优化问题$$\begin{array}{rl}\underset{T}{\max }{\mathrm{E}}_{p_{\mathcal{D}}}(x)& {\mathrm{E}}_{q_{\varphi }(z|x)}\log \sigma (T(x,z))+{\mathrm{E}}_{p_{\mathcal{D}}(x)}{\mathrm{E}}_{p(z)}\log (1-\sigma (T(x,z)))\end{array}$$即用$T(x,z)$判别样本$(x,z)$来自$p_{\mathcal{D}}(x)p(z)$还是$p_{\mathcal{D}}(x)q_{\varphi }(z|x)$根据GAN的最优判别器$$T^{\ast }(x,z)=\log q_{\varphi }(z|x)-\log p(z)$$从而目标函数变为$$\underset{\theta ,\varphi }{\max }{\mathrm{E}}_{p_{\mathcal{D}}(x)}{\mathrm{E}}_{q_{\varphi }(z|x)}\left(-T^{\ast }(x,z)+\log p_{\theta }(x|z)\right)$$以上优化目标对$\theta$可以很好地得出梯度，而$\varphi$则比较麻烦，因为$T^{\ast }(x,z)$与$\varphi$有关。但是有$${\mathrm{E}}_{q_{\varphi }(z|x)}\left({\nabla }_{\varphi }{T}^{\ast }(x,z)\right)=0$$使用重参数，则优化目标可以变为$$\begin{array}{rl}\underset{\theta ,\varphi }{\max }{\mathrm{E}}_{p_{\mathcal{D}}(x)}{\mathrm{E}}_{ϵ}(-T^{\ast }\left(x,z_{\varphi }(x,ϵ)\right)& +\log p_{\theta }\left(x|z_{\varphi }(x,ϵ)\right))\end{array}$$最终算法如下

但是在实际优化的过程中发现，由于$p_{\mathcal{D}}(x)p(z)$和$p_{\mathcal{D}}(x)q_{\varphi }(z|x)$相差甚远，这样一来$T(x,z)$很难训练到最优的判别器，因此文中提出了一种Adaptive Contrast的方式，即引入一个简单的变分后验$r_{\alpha }(z|x)$（这个分布设定为一个高斯分布，其均值$\mu (x)$和方差$\sigma (x)$匹配到$q_{\varphi }(z|x)$的均值和方差[采用MC方法估计]），让这个分布与$q_{\varphi }(z|x)$进行对抗，这样$T(x,z)$就能很容易训到最优，这样一来目标函数变为$${\mathrm{E}}_{p_{\mathcal{D}}}(x)\left[-\mathrm{K}\mathrm{L}\left(q_{\varphi }(z|x),r_{\alpha }(z|x)\right)+{\mathrm{E}}_{q_{\varphi }(z|x)}\left(-\log r_{\alpha }(z|x)+\log p_{\varphi }(x,z)\right)\right]$$将$T(x,z)$代替$KL$部分可得$${\mathrm{E}}_{p_{\mathcal{D}}(x)}{\mathrm{E}}_{q_{\varphi }(z|x)}\left(-T^{\ast }(x,z)-\log r_{\alpha }(z|x)+\log p_{\theta }(x,z)\right)$$为了简单起见，我们可以利用$r_{\alpha }(z|x)$的高斯性质，可以把$KL$部分变化为以下$$\begin{array}{rl}{\mathrm{E}}_{p\mathcal{D}}(x)& \mathrm{K}\mathrm{L}\left({\tilde{q}}_{\varphi }(\tilde{z}|x),r_0(\tilde{z})\right)\\ \tilde{z}& :=\frac{z-\mu (x)}{\sigma (x)}\end{array}$$这样便得到了加入AC的算法如下所示。