条件变分自编码器（CVAE）及相关论文ELBO推导

推导用到的概率公式：

$P(A,B|C)=P(A|B,C)P(B|C)$
证明：
由于 $P(A|B)=\frac{P(A,B)}{P(B)}$，所以$P(A,B|C)=\frac{P(A,B,C)}{P(C)}$。
$P(A,B,C)=P(A|B,C)P(B|C)P(C)$，所以$P(A,B|C)=P(A|B,C)P(B|C)$

VAE的缺点

VAE是一种无监督模型，只能生成与输入类似的数据，有研究者提出能够生成不同的数据，比如，输入一张黄皮肤人脸，可以生成类似的白皮肤人脸或者黑皮肤人脸，这种情况下VAE就做不到了，故有研究人员提出了CVAE，这个C就是附加的条件，可以利用附加的条件生成更有多样性的数据。

CVAE

CVAE是一个系列，CVAE的模型不止一个，其他模型以后再慢慢补充。CVAE的推导方法与VAE的类似，不了解VAE的可以看我之前的博客变分自编码器（VAE）

CVAE的模型图如下图所示：

在下面的推导中，$c$是附加信息，$x$是输入数据，$z$是隐变量，
$$\begin{array}{rl}log{p}_{\theta }(x|c)=& log{\int }_z{p}_{\theta }(x,z|c)dz\\ =& log{\int }_z\frac{q_{\phi }(z|x,c)p_{\theta }(x,z|c)}{q_{\phi }(z|x,c)}dz\\ =& log{E}_{q_{\phi }(z|x,c)}[\frac{p_{\theta }(x,z|c)}{q_{\phi }(z|x,c)}]\\ \ge & E_{q_{\phi }(z|x,c)}[log\frac{p_{\theta }(x,z|c)}{q_{\phi }(z|x,c)}]\end{array}\text{\hspace{1em}(1)}$$
$$\begin{array}{rl}ELBO=& E_{q_{\phi }(z|x,c)}[log\frac{p_{\theta }(x,z|c)}{q_{\phi }(z|x,c)}]\\ =& E_{q_{\phi }(z|x,c)}[log\frac{p_{\theta }(x|z,c)p_{\theta }(z|c)}{q_{\phi }(z|x,c)}]\\ =& E_{q_{\phi }(z|x,c)}[log{p}_{\theta }(x|z,c)]-KL[q_{\phi }(z|x,c)||p_{\theta }(z|c)]\end{array}\text{\hspace{1em}(2)}$$
在（2）式中，$p_{\theta }(z|c)是z的先验,q_{\phi }(z|x,c)是z的后验$。
相应的网络结构如下图所示：

与CVAE相关的论文：

[1]Modeling Event Background for If-Then Commonsense Reasoning Using Context-awareVariational Autoencoder.
[2]Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders.
[3]Learning Structured Output Representation using Deep Conditional Generative Models.

论文中的$ELBO$推导：

[1]中的$ELBO$推导：
用到的概率公式：
$P(A,B,C|D)=P(A|B,C,D)P(B,C|D)=P(A|B,C,D)P(B|C,D)P(C|D)$

概率图模型如上图所示，虚线是推理网络，实线是生成网络，$x是$base event(输入数据)，$y是$target(输出数据)，$z_{c^{{}^{\prime }}}和z_c$是隐变量，分别表示event的背景信息和inference dimensions.
$$\begin{array}{rl}log{p}_{\theta }(y|x)=& log\iint p_{\theta }(y,z,z_{c^{{}^{\prime }}}|x)dzd{z}_{c^{{}^{\prime }}}\\ =& log\iint \frac{p_{\theta }(y,z,z_{c^{{}^{\prime }}}|x)q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}dzd{z}_{c^{{}^{\prime }}}\\ =& log{E}_{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}[\frac{p_{\theta }(y,z,z_{c^{{}^{\prime }}}|x)}{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}]\\ \ge & E_{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}[log\frac{p_{\theta }(y,z,z_{c^{{}^{\prime }}}|x)}{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}]\\ ELBO=& E_{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}[log\frac{p_{\theta }(y,z,z_{c^{{}^{\prime }}}|x)}{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}]\\ =& E_{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}[log\frac{p_{\theta }(y|z,z_{c^{{}^{\prime }}}x)p_{\theta }(z|z_{c^{{}^{\prime }}},x)p_{\theta }(z_{c^{{}^{\prime }}}|x)}{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}]\\ =& E_{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}[log{p}_{\theta }(y|z,z_{c^{{}^{\prime }}}x)]+E_{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}[log\frac{p_{\theta }(z|z_{c^{{}^{\prime }}},x)p_{\theta }(z_{c^{{}^{\prime }}}|x)}{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}]\\ =& E_{q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)q_{\phi }(z_{c^{{}^{\prime }}}|x,y)}[log{p}_{\theta }(y|z,z_{c^{{}^{\prime }}}x)]\\ & -{\int }_z{q}_{\phi }(z|x,z_{c^{{}^{\prime }}},y)KL[q_{\phi }(z_{c^{{}^{\prime }}}|x,y)||p_{\theta }(z_{c^{{}^{\prime }}}|x)]dz\\ & -{\int }_{z_{c^{{}^{\prime }}}}{q}_{\phi }(z_{c^{{}^{\prime }}}|x,y)KL[q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)||p_{\theta }(z|z_{c^{{}^{\prime }}},x)]d{z}_{c^{{}^{\prime }}}\end{array}$$
第一项是重构误差，也就是生成网络，包括$p_{\theta }(y|z,z_{c^{{}^{\prime }}},x)，用神经网络来拟合$，
后面两项是KL项，也就是编码网络，包括$两个先验网络p_{\theta }(z_{c^{{}^{\prime }}}|x)和p_{\theta }(z|z_{c^{{}^{\prime }}},x)，两个识别网络q_{\phi }(z|x,z_{c^{{}^{\prime }}},y)和q_{\phi }(z_{c^{{}^{\prime }}}|x,y)$，因此总共有5个神经网络来拟合上面提到的概率分布。两个识别网络是用来近似真实的后验分布$p_{\theta }(z|x,z_{c^{{}^{\prime }}},y)和p_{\theta }(z_{c^{{}^{\prime }}}|x,y)$的，所以VAE和CVAE都是近似推断而不是精确推断，。
注：上面的推导结果和分析与论文中有差异。

[2]中的$ELBO$推导：
用到的概率公式：
$P(A,B,C|D)=P(A|B,C,D)P(B,C|D)=P(A|B,C,D)P(B|C,D)P(C|D)$

概率图模型如上图所示，虚线是推理网络，实线是生成网络，$x$是对话中的第$k$条语句，$c$是前$k-1$条语句，也就是上下文，$y$是语言的一些特征，比如整个对话表达的动作行为，$z$是隐变量。
$$\begin{array}{rl}log{p}_{\theta }(x|c)=& log\iint p_{\theta }(x,z,y|c)dzdy\\ =& log\iint \frac{p_{\theta }(x,z,y|c)q_{\phi }(z|c,x,y)}{q_{\phi }(z|c,x,y)}dzdy\\ =& log{E}_{q_{\phi }(z|c,x,y)}[\frac{p_{\theta }(x,z,y|c)}{q_{\phi }(z|c,x,y)}]\\ \ge & E_{q_{\phi }(z|c,x,y)}[log\frac{p_{\theta }(x,z,y|c)}{q_{\phi }(z|c,x,y)}]\\ ELBO=& E_{q_{\phi }(z|c,x,y)}[log\frac{p_{\theta }(x,z,y|c)}{q_{\phi }(z|c,x,y)}]\\ =& E_{q_{\phi }(z|c,x,y)}[log\frac{p_{\theta }(x|c,z,y)p_{\theta }(y|c,z)p_{\theta }(z|c)}{q_{\phi }(z|c,x,y)}]\\ =& E_{q_{\phi }(z|c,x,y)}[log{p}_{\theta }(x|c,z,y)]\\ & +E_{q_{\phi }(z|c,x,y)}[log{p}_{\theta }(y|c,z)]\\ & -KL[q_{\phi }(z|c,x,y)||p_{\theta }(z|c)]\end{array}$$
前两项是重构误差，也就是生成网络，包括$log{p}_{\theta }(x|c,z,y)$和$log{p}_{\theta }(y|c,z)$，分别用来生成$x和y$,第三项是KL项，也就是编码网络，包括先验网络$p_{\theta }(z|c)$和后验网络$q_{\phi }(z|c,x,y)$,总共有4个网络来拟合上面的概率分布。