Auto-Encoding Variational Bayes论文阅读

Auto-Encoding Variational Bayes论文阅读

 Auto-Encoding Variational Bayes 算法主要是针对连续隐含变量的统计推断模型，因为统计推断模型中常常会遇到后验概率分布形式比较难以获得以及样本数据过大等困难，所以作者便提出了用变分推断的方法，结合自动编码器来对以前的算法进行改进，其改进方向主要是证明了Stochastic gradient methods（类似于一种随机梯度下降算法）可以用来对变分下界进行最优估计；并且可以利用参数下界的最优估计来对模型的后验概率分布进行推断。
 本文将跟随论文作者的思路，从变分方法的背景谈起，对比不同的算法，重点关注我们AEVB算法当中的SGVB（Stochastic Gradient Variational Bayes）估计方法。

方法

 根据作者的说法，AEVB算法对多种dataset都非常适用，为了解释方便，本文对样本集做出了如下的假设：
 样本集的$X=\{x^{(i)}{\}}_{i=1}^N$是N个独立同分布的离散或者连续的样本，他们是通过某种随机过程产生的，我们假设他们的产生是源于一种我们目前无法观测到的随机变量z，z由如下过程产生：
（1）z的产生源于某种概率分布$p_{{\theta }^{\ast }}(z)$。
（2）x的产生源自于某种条件概率分布$p_{{\theta }^{\ast }}(x|z)$。
并且我们假设对于$\theta$和z$p_{\theta }(z)$和$p_{\theta }(x|z)$都是几乎处处可导。但是实际上对于$\theta$和z的的情况，我们时常都是无法获得的。
 论文没有对其边缘分布或者后验概率分布做任何限制和假设，论文致力于提出一种比较通用的算法对
（1）$p_{\theta }(x)=\int p_{\theta }(z)p_{\theta }(x|z)$比较难以计算或者是后验概率$p_{\theta }(z|x)=\frac{p_{\theta }(x|z)p_{\theta }(z)}{p_{\theta }(x)}$比较难以计算。这会导致似然估计的方法（likehood）以及EM算法，还有一些传统的VB算法全部无效。
（2）样本量过大，这会导致类似于Monte Carlo 算法等迭代速度过慢。
 算法需要解决以下三个相关问题：

• 能够有效地利用ML或者MAP估计参数$\theta$，并且通过参数本身地一些性质，使得我们可以在一定条件下，生成或者模仿产生数据。
• 能够推理出在给定样本X的情况下潜在变量z的参数选择。
• 能够得到关于变量x的样本分布，最好能够获得其先验估计，这有助于去进行其他的实验。
   文章提出了一种模型，利用$q_{\varphi }(z|x)$来对$p_{\theta }(x|z)$，不同于直接给出$\varphi$的形式或者是利用Mean-field variational inference 的方式，它通过生成模型，将$\varphi$与它和参数$\theta$之间的关系共同给出。
  这样的处理方式，就与编码理论有一些近似了，我们可以将$q_{\varphi }(z|x)$看作一个概率编码器，给定一个数据点x，它能够产生一个z的概率分布，同时x可以从这个z的概率分布当中得出。而$p_{\theta }(x|z)$则类似于一个解码器，给定一个相应的z，其可以得到一个x的概率分布。

数学理论基础介绍

MLE(ML)和MAP算法

MLE和MAP算法都是对参数进行估计的一种算法。
MLE算法是对于似然函数进行一个估计：

$$\begin{gathered} {\theta }_{MLE}=arg\underset{\theta }{\max }P(X|\theta ) \\ =arg\underset{\theta }{\max }\prod _{i}P(x_i|\theta ) \end{gathered}$$

而MAP算法是对于其贝叶斯概率做一个估计
$$\begin{gathered} P(\theta |X)=\frac{P(X|\theta )P(\theta )}{P(X)} \\ \propto P(X|\theta )P(\theta ) \end{gathered}$$
所以$$\begin{gathered} {\theta }_{MAP}=arg\underset{\theta }{\max }P(X|\theta )P(\theta ) \\ =arg\underset{\theta }{\max }\sum _i\log P(x_i|\theta )+\log P(\theta ) \end{gathered}$$

mean-field variational inference方法解释

 此方法出现在论文的2.1节当中，mean-field variational inference，它的核心思想也是用一个分布来近似得到$\varphi$的估计，与我们论文所述方法不同的是，此方法希望直接利用对KL散度$KL(Q||P)={\sum }_{z\in Z}{q}_{\varphi }(z|x)\log \frac{q_{\varphi }(z|x)p(x)}{p(z,x)}$的最优化获得结果。对于KL散度的参数最优化问题我们之前在变分推断读书笔记当中已经比较详细地讨论过，这里不再赘述了，我们本文的目标，是能够整体的一起推理出$\varphi$和$\theta$以及他们之间的联系，这就是本文方法和mean-field variational inference方法的不同与改进。

变分下界的推理

 针对变分问题的推理，我们在之前已经有过比较详细的叙述，这里提出了
$$\log p_{\theta }(x^{(i)})=D_{KL}(q_{\varphi }(z|x)||p_{\theta }(z|x^{(i)})+\zeta (\theta ,\varphi ;x^{(i)})$$
根据$\zeta (\theta ,\varphi ;x^{(i)})$的分解定义，其分解为$\zeta (\theta ,\varphi ;x^{(i)})=\int q_{\varphi }(z|x)\ln \frac{p_{\theta }(z|x^{(i)})}{q_{\varphi }(z|x)}dZ$ 可以看出来其是关于$q_{\varphi }(z|x)$的期望$E_{q_{\varphi }(z|x)}[-\log q_{\varphi }(z|x)+\log p_{\theta }(z|x^{(i)})]$
又根据KL散度的非负性，所以我们可以得到对于每个$p_{\theta }(x^{(i)})$的一个下界$$\log p_{\theta }(x^{(i)})\ge \zeta (\theta ,\varphi ;x^{(i)})=E_{q_{\varphi }(z|x)}[-\log q_{\varphi }(z|x)+\log p_{\theta }(z|x^{(i)})]\text{\hspace{1em}(1)}$$
同时根据$\zeta (\theta ,\varphi ;x^{(i)})$本身的分解定义：
$$\zeta (\theta ,\varphi ;x^{(i)})=\int q_{\varphi }(z|x)(\log p_{\theta }(x^{(i)}|z)+\log p_{\theta }(z)-\log q_{\varphi }(z|x^{(i)}))dz$$
可以得到关于$\zeta (\theta ,\varphi ;x^{(i)})$的另一个表述：
$$\zeta (\theta ,\varphi ;x^{(i)})=-D_{KL}(q_{\varphi }(z|x^{(i)})||p_{\theta }(z))+E_{q_{\varphi }(z|x^{(i)})}[\log p_{\theta }(x^{(i)}|z)]\text{\hspace{1em}(2)}$$

KL散度的数学推导

 这里的推导和假设建立在$p_{\theta }(z)=N(0,I)$以及$q_{\varphi }(z|x^{(i)})$是高斯分布的基础上。
因为$$\begin{gathered} \int q_{\theta }(z)\log p(z)=\int N(z;\mu ,{\sigma }^2)\log N(z;0,I)dz \\ =-\frac{J}{2}\log (2\pi )-\frac{1}{2}\sum _{j=1}^J({\mu }_j^2+{\sigma }_j^2) \end{gathered}$$
$$\begin{gathered} \int q_{\theta }(z)\log q_{\theta }(z)dz=\int N(z;\mu ,sigm{a}^2)dz \\ =-\frac{J}{2}\log (2\pi )-\frac{1}{2}\sum _{j=1}^J(1+\log {\sigma }_j^2) \end{gathered}$$
所以有：
$$\begin{gathered} -D_{KL}((q_{\varphi }(z)||p_{\theta }(z))=\int q_{\theta }(z)(\log p_{\theta }(z)-\log q_{\theta }(z))dz \\ =\frac{1}{2}\sum _{j=1}^J(1+\log (({\sigma }_j^2)-({\mu }_j{)}^2-({\sigma }_j{)}^2) \end{gathered}$$

算法

对隐含变量z的表述

 算法用了一种新的表述$\tilde{z}=g_{\varphi }(ϵ,x)$,其中$ϵ\sim p(ϵ)$
使用这样的新的表述的好处作者在2.4节进行了概述，这样表述就有：
$$q_{\varphi }(z|x)\prod _{i}d{z}_i=p(ϵ)\prod _{i}d{ϵ}_i$$
所以可以有：
$$\int q_{\varphi }(z|x)f(z)dz=\int p(ϵ)f(z)dϵ=\int p(ϵ)f(g_{\varphi }(ϵ,x))dϵ$$
利用这个写法我们可以得到一个估计：
$$\int q_{\varphi }(z|x)f(z)dz\simeq \frac{1}{L}\sum _{l=1}^{L}f(g_{\varphi }(x,{ϵ}^{(l)}))$$
这里的话主要是用于对(1)式进行优化估计，有
$$E_{q_{\varphi }(z|x^{(i)})}[f(z)]=E_{p(ϵ)}[f(g_{\varphi }(ϵ,x^{(i)}))]\simeq \frac{1}{L}\sum _{l=1}^{L}f(g_{\varphi }({ϵ}^{(l)},x^{(i)}))$$其中$ϵ\sim p(ϵ)$
在（1）式当中，我们可以对比发现这里的$f(z)$相当于（1）当中的$-\log q_{\varphi }(z|x)+\log p_{\theta }(z|x^{(i)})$
把对应的结果代入即可得到：
$${\tilde{\zeta }}^A=\frac{1}{L}\sum _{l=1}^L\log p_{\theta }(x^{(i)},z^{(i,l)})-\log q_{\varphi }(z^{(i,l)}|x^{(i)})\text{\hspace{1em}(3)}$$

 上述是通过（1）式得到的一个下界的估计，实际上我们还可以通过对（2）的推导，同样也能得到一个比较好的结果。
$${\tilde{\zeta }}^B=-D_{KL}(q_{\varphi }(z|x^{(i)})||p_{\theta }(z))+\frac{1}{L}\sum _{l=1}^L\log (p_{\theta }(x^{(i)},z^{(i,l)})))\text{\hspace{1em}(4)}$$
 这种做法通常比（3）式得到的误差会小一些。

核心算法

 核心算法的步骤如下：

 该算法的好处还有一点是有如下的近似式：
$${\tilde{\zeta }}^M(\theta ,\varphi ;x^M)=\frac{N}{M}\sum _{i=1}^M\zeta (\theta ,\varphi ;x^{(i)})$$
我们可以根据上式，选择一个样本集，来对于全局进行估计。

算法应用——Variational Auto-Encoder

 变分自动编码器的应用选择了一个高斯分布来模拟z的产生，即z服从一个$N(z;0,I)$。选择$p_{\theta }(x|z)$是一个混合高斯分布或者伯努利分布。而因为实际的$p_{\theta }(z|x)$很难获得，所以选择了$q_{\theta }(x|z)$来对其进行近似，在例子当中我们对其选择了$\log q_{\varphi }(z|x^{(i)})=\log N(z;{\mu }^{(i)},{\sigma }^{(i)}I)$,文章用了全连接网络来对于变分自动编码器进行模拟，其网络设置如下：
这个例子中在对$\zeta (\theta ,\varphi ;x^{(i)})$做估计的时候使用了（4）的算法，从之前的数学推导当中可以看出（4）的算法是相对比较好求的。

代码和应用分析

 本文的代码可以在github上面找到，链接如下：https://github.com/hwalsuklee/tensorflow-mnist-VAE
 实际上本算法的核心是通过SGVB方法来对神经网络当中的loss函数进行计算，便于去更新参数值。
 本算法可以作为生成器，重现输入的样本，效果图如下：

心得总结

 本文的主要创新点在于，直接采取了一种$q_{\varphi }(z|x)$的方式近似$p_{\theta }(z|x)$,而且$q_{\varphi }(z|x)$并不是直接去通过最优化其KL散度的方式来获得，因为直接优化其KL散度可能会出现梯度无法求解的情况。本文也不是通过蒙特卡洛算法来实现的，因为蒙特卡洛算法过于粗暴，其有一项类似于$f(z){▽}_{q_{\varphi }(z^{(l)})}\log q_{\varphi }(z^{(l)})$的项，其方差（Hessian矩阵？）的计算复杂度极大，实际情况下效果非常差，所以我们VAE方法利用一种reparameterization的方式，巧妙地解决了这一问题。这应该是本文的核心，也是对学术界的巨大贡献之处。