线性因子模型

线性因子模型

线性因子模型是基于潜变量的一类简单概率模型，线性因子模型通过随机线性解码器函数来定义，通过函数对 $h$ 的线性变换以及添加噪声来生成 $x$ 。

线性因子模型描述了如下的数据生成过程。首先我们从一个分布中抽取解释性因子 $h$ ，$h\sim p(h)$ ，其中 $p(h)$ 是一个因子分布，满足 $p(h)={\prod }_{i}p(h_i)$ ，易于从中采样。接下来，再给定因子的情况下，我们对实值的可观察变量进行采样。

$$x=Wh+b+noise$$

其中噪声通常是对角化（相互独立）的且服从高斯分布。

1 概率 PCA 和因子分析

1.1 因子分析

在因子分析中，潜变量的先验是一个方差单位矩阵的高斯分布

$$h\sim \mathcal{N}(h;0,I)$$

同时假设给定 $h$ 观测下的 $x_i$ 是条件独立的（因子分析的假设）。我们可以假设上面提到的线性因子模型的 noise 是从对角协方差矩阵的高斯分布中抽取出来的，协方差矩阵为 $\psi =diag({\sigma }^2)$ ，其中 ${\sigma }^2=[{\sigma }_1^2,\cdots ,{\sigma }_n^2{]}^T$，每个元素代表一个变量的方差。

因此我们可以得出 $x$ 服从多维正态分布

$$x\sim \mathcal{N}(x;b,W{W}^T+\psi I)$$

1.2 概率 PCA

概率 PCA 和因子分析很相似，在因子分析模型中，我们使噪声 $\psi$ 的每个元素都相等，即噪声的每个维度都服从相同的分布即可得到概率 PCA。

$$x\sim \mathcal{N}(x;b,W{W}^T+{\sigma }^{2}I)$$

等价于

$$x=Wh+b+\sigma z$$

$z\sim \mathcal{N}(z;0,I)$ 是噪声，可以用 EM 算法去求解概率 PCA 和因子分析中的潜变量 $W$ 和 $\sigma$ 。

当 $\sigma \to 0$ 时，概率 PCA 退化成 PCA，在这种情况下，给定 $x$ 的情况下 $h$ 的条件期望等于将 $x-b$ 投影在 $W$ 的列向量生成的空间上，这与 PCA 的情形一样。

2.独立成分分析

独立主成分分析(independent component analysis, ICA) 是一种建模线性因子的方法旨在将观察到的信号分离成许多潜在信号吗，这些潜在信号通过缩放和叠加可以恢复成观察数据，这些信号是完全独立的，而不仅仅是彼此不相关（不相关只是指两者没有线性关系，不代表独立）。

ICA 和其他的因子模型有些不太一样，其他的因子模型都假设潜变量是服从高斯分布的，而 ICA 假设隐变量一定不能服从高斯分布。

ICA 的仍是给出假设变量概率分布 $p(h)={\prod }_{i}p(h_i)$ ，$X=AH$， 我们要求达到编码器那种效果的权重矩阵 $W$, $H=A^{-1}X=WX$ 。我们知道 $H$ 和 $X$ 具有相同的累积分布函数 CDF （ICA 核心）， 根据以下公式(花书的3.47)

$$p(h)=p(Wx)|W|=(\prod _{i=1}p(W_{i}x))|W|$$

然后我们使用对数极大似然估计得到

$$l(W)=\sum _{j=1}^n\log ((\prod _{i=1}p(W_i{x}^{(j)})|W|)$$

然后使用梯度上升法就能求得权重矩阵 $W$。

3. 稀疏编码

稀疏编码是一种线性因子模型，严格来说，术语“稀疏编码”是指在该模型中推断 $h$ 值的过程，而“稀疏建模”是指设计和学习模型的过程，但是通常两者都可以用“稀疏编码”来表述。这里的稀疏编码也不同于稀疏编码器，这里的的稀疏编码是线性因子模型，是线性的。它使用了线性的解码器加上噪声的方式获得一个 $x$ 的重构，更具体的，稀疏编码模型通常假设线性因子有一个各向同性精度为 $\beta$ 的高斯噪声：

$$p(x|h)=\mathcal{N}(x;Wh+b,\frac{1}{\beta }I)$$

分布 $p(h)$ 通常选取为一个峰值很尖锐且接近 0 的分布，可以用 Laplace 分布，例如以稀疏惩罚系数 $\lambda$ 为参数的 Laplace 先验分布可以表示为

$$p(h_i)=Laplace(h_i;0,\frac{2}{\lambda })=\frac{\lambda }{4}exp(-\frac{1}{2}\lambda |h_i|)$$

使用最大似然的方法训练稀疏编码模型行不通（要使用最大后验推断，类似 EM 算法），相反们为了再给定编码的情况下更好的重构数据，训练过程在编码数据和训练解码器之间交替进行。

因为稀疏编码模型与其他的线性因子模型不同，其他线性因子模型可以很好的将似然概率表达为 $p(v)=\mathcal{N}(v;b,W{W}^T+\psi I)$ ，是简单的正态分布。而稀疏编码由于其隐藏单元 $h$ 添加了稀疏先验，导致 $p(v)$ 复杂，其梯度也很难得到。取而代之的是使用最大后验推断来极大化 ELBO，类似 EM 算法。详情见花书 p388。