【机器学习】 特征值分解、奇异值分解与PCA的原理

1、PCA的原理

• 设n维随机变量X, 其对应的协方差矩阵是C

• 基于正交矩阵P，对随机变量X做正交变换，得到变量Y，对应协方差矩阵为R,如下所示。

C是X的协方差矩阵，R是Y的协方差矩阵，二者都是一个对称矩阵 协方差矩阵的对角线以外的值都是n维变量各分量之间的相关性的度量值，当值为0时表示两个分量无关，即相互独立，此时我们得到的变量具有很好的统计特性，便于处理，即我们的目标是找到正交矩阵P使下式成立

即对C进行相似对角化处理，生成对角矩阵R

根据对称矩阵的性质可知，一定存在对角阵与C正交相似

此时，

• 对角矩阵R是矩阵C的对应特征值组成的对角阵，
• 变换矩阵Q是C的特征值对应的正交化的特征向量组。

特征值分解(EVD)步骤

• 求特征值

• 求特征向量

假设已经对特征值从大到小排了序(排序后特征值越大，说明权重越高，影响越大)，得

由于特征值都是按从大到小的顺序排列的，当前k个特征值比较大（权重高）后面的特征值可以近似为0，（如何选择k，有一些取舍的方案，暂不详细介绍），此时C的分解公式为：

此时正交变换的公式为

等效为对P(Q)进行裁剪，由nxn矩阵变成mxn矩阵，如下所示：

此时的正交变换降为线性变换(裁剪后的P已经不是正交矩阵了)，变换有以下特点：

• 源数据从n维变成了k维，实现了维数的降低
• 任意两个分量的协方差值为0（不相关）
• 变换前后的协方差矩阵基本相似（最后n-k个特征值做了等效0处理，有一定损失）
• 在保持变换后信息损失尽量小的情况下降低数据的维度(n维到k维)。

参考链接

• PCA的数学原理

2 拓展EVD与SVD

---

• EVD：特征值分解
• SVD：奇异值分解
• 两者侧重不同，EVD对对称矩阵处理效果比较简单（对称矩阵必定与对角阵正交相似，通过求特征值、特征向量即可求解），但是对于一般矩阵，尤其不是方阵，以上方法就不适用了，此时可采用奇异值分解法进行求解。
• 简单理解：SVD是可以包含EVD的一种方法，即EVD能解的SVD一定能解，反之不一定，所以一般PCA直接用SVD公式进行求解

SVD奇异值分解公式

参考链接：

• 奇异值分解(SVD)原理详解及推导
• 奇异值分解 SVD 的数学解释