核主成分分析（Kernel-PCA）

问题：

已知数据集，其中，。Mercer核函数，根据Mercer定理，存在映射，使得。主成分分析是在中讨论的，那么核主成分分析是在映射后的空间中讨论的。即讨论映射后的数据集，，在中的主成分分析。

—————————————————————————————————————————————————————

我们知道在讨论主成分分析的主要部分是求协方差矩阵及其特征值和特征向量，而实际我们用到的是特征向量。

协方差矩阵：

，

为了讨论方便，令

。

问题一：因为通常映射是不显示的，就是解不出来的，所以很难求解，所以，我们从令一个角度讨论的特征向量，

，

设是的特征向量，是对应的特征值。即：

，

，

显然：

。

即存在，，其中，使得

。

这样我们便得到的特征向量的性质，即是由张成的。

因为

所以

，。

把带入上式得：

右式：

左式：

其中。

我们用矩阵表示上式等式，即：

其中：

，，。

那么：。

即，是的特征向量。

—————————————————————————————————————————————————————

问题二：那么怎么求？

设，，，。

其中：，为核矩阵，即，。

所以：

，

其中。

至此，已经求出，则特征向量就可以求出了。

————————————————————————————————————————————————————

问题三：求出后，怎么进行归一化？

我们根据协方差矩阵的特征向量，我们根据，可以归一化，

，

其中为特征向量对应的的特征值。

—————————————————————————————————————————————————————

结论：

根据前三个问题的解答，我们已经解出协方差矩阵的特征向量：

。

—————————————————————————————————————————————————————

问题：

怎么求新数据的核主成分，即求：

。

同问题二中的方法，

其中。

即：

，

其中：和每一个元素都为1。

————————————————————————————————————————————————————

例子：

RBF-PCA: