概率pca(probabilistic pca)的理解

• ppca原理

    pca 可以从很多角度来理解，今天来谈一谈不太知名的ppca。所谓概率pca, 就是构建一个概率模型，对于一个数据 , 可以认为这样生成的，,   是维， , 是均值为0，方差为  的 维高斯随机向量，， 是均值为0 , 方差为  的  维高斯随机向量， 和  独立。 是未知参数，把  看成隐变量，对  降维的结果，就是要求出它在低维空间的隐变量，但是隐变量是随机变量，因此我们要求得已知 时 的期望，即 ，这个模型可以看成一种特殊的高斯混合模型，求解方法也和GMM一样。

     要求 ，我们就要求得, 接下来涉及一系列概率计算。给定时，, 将积分，可得全概率分布  . 根据贝叶斯定理, 

                          ,

进行配方，保留和  有关的项，得到  

                                                   ,

其中, 因此当已知  后， 的期望就是 ，即  的降维结果，剩下的问题就是如何求得  这三个参数了，有两种方法可以用来求解，极大似然法和EM算法，用这两种求解都非常复杂。这里介绍最大似然的解法。

• 极大似然求解

       将 记作 ,  对数似然函数为: , 和一般高斯分布的似然函数一样, 只是是参数的复合。写成log的形式：

                                                                               

对  求导，导数为：  。令导数等于0，求得 ：

                                                                           ，

即  等于样本的均值，这个结果和高斯分布极大似然一样。

        再求  和  。对  求偏导：将 写成trace 的形式，,  是方差矩阵：

                                                                  

根据链式法则，,  表示微分。

进一步，, 又  左右两边求微分，,

所以 ，

                           

,带入上式，最后得到：  

                                                            ,

类似的，令，

                                 .。

令这两项为零，最后即可以求得。由于解这两个方程实在是过于复杂，这里就不介绍怎么解了，以后有时间会介绍怎么用EM来求解。