Householder Flow

Householder Flow

变分自动编码器(VAE)是可扩展的、强大的生成模型。然而，变分后验的选择决定了VAE的可操作性和灵活性。一般来说，潜变量是用一个对角协方差矩阵的正态分布建模的。这可以提高计算效率，但通常不能灵活地匹配真实的后验分布。丰富变分后验分布的一种方法是应用正则化流，即normalizing flows。这种操作是对潜变量的简单后验分布做一系列可逆变换，将其变为复杂，灵活的后验分布。Householder Flow就是normalizing flows中的一种。

推导

设$q(x)$是一个简单的概率分布的概率密度函数，其概率分布函数为$F(x)$
$$F(x)={\int }_{-\bowtie }^{x}q(t)dt$$
设$f(x)$是关于$x$的可逆变换，其逆为$f^{-1}(x)$，则变换后的$x$的概率分布函数为：
$$F_1(x)={\int }_{-\bowtie }^{x}q(t)f^{-1}(x)dt$$
变换后的概率密度函数$q_1(x)$是$F_1(x)$的导数，所以:
$$q_1(x)=q(x)|\frac{d{f}^{-1}}{dx}|=q(x)|\frac{df}{dx}{|}^{-1}\text{\hspace{1em}(1)}$$
上述都是在一维的空间中，如果$x$是一个向量，则（1）式就变为：
$$q_1(x)=q(x)|det\frac{df}{dx}{|}^{-1}\text{\hspace{1em}(2)}$$
如果我们施加的一系列的$f_k,k\in [1,K]$，那么就得到一个归一化流（normalizing flows）：
$$\begin{gathered} z_K=f_K\ast ...\ast f_1(z_0)，z_0\backsim q_0(z_0) \\ {z}_K\backsim q_K(z_K)=q_0(z_0)\prod _{k=1}^K|det\frac{d{f}_k}{d{z}_{k-1}}{|}^{-1} \end{gathered}$$
这一系列变换就可以将一个简单的概率分布变成一个复杂的概率分布。
为了简单计算，如果我们将$\frac{d{f}_k}{d{z}_k}$变成一个正定矩阵，那么其雅可比矩阵的行列式就为1，这样就可以简化计算。

ELBO

通过normalizing flows，我们可以将变分后验变为如下：
$$ln{q}_K(z_K)=ln{q}_0(z_0|x)-\sum _{k=1}^{K}ln|det\frac{d{f}_k}{d{z}_{k-1}}|\text{\hspace{1em}(3)}$$
变分下界(ELBO)变为：

Householder transformation

假设$v$是一个与超平面正交的向量（Householder vector），那么Householder matrix$H$定义如下：
$$H=I-2\frac{v{v}^T}{|v{|}^2}$$
$H$矩阵也是一个正交矩阵，所以其雅可比行列式的绝对值为1，也就是$ln|detH|=0$。
我们令$f_k=H_k{z}_{k-1}$，那么（4）式中

因此，后验分布$z_0$通过一系列的Householder transformation（被称作Householder Flows）转化为了$z_K$。