PCA算法的三种求解形式对比

前段时间回顾PCA算法时，发现存在三种不同的求解形式。一种是直接通过求解中心化后的样本数据$X_{center}$的SVD分解得到映射向量；一种是先求出$X_{center}$的协方差矩阵$C$，然后计算对称矩阵$C$的特征分解，最后得到映射向量；最后一种（也是常用的一种）也是先求出$X_{center}$的协方差矩阵$C$，然后计算对称矩阵$C$的SVD分解，最后得到映射向量。当时很困惑到底应该用哪种，哪种是最正确的做法，因此对相关的知识点进行了梳理，也就有了这篇笔记。

根据牵涉到的知识点，这篇笔记将先介绍随机变量的数字特征（期望、方差等）以及数理统计中常用的统计量（样本均值、样本方差），接着介绍特征值、特征向量和特征分解，然后介绍SVD分解，最后分析PCA的三种求解形式之间的关系。

均值和方差

随机变量的数字特征

设$X,Y$都是一维随机变量。
数学期望：$E[X]$

方差：$D[X]=Var[X]=E[(X-E[X]{)}^2]=E[X^2]-(E[X]{)}^2$

协方差：$Cov(X,Y)=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]$. 反应$X$与$Y$相互间关系。

相关系数：${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D[X]\cdot \sqrt{D[Y]}}}$

协方差矩阵（对称阵）：
$$C=\left[\begin{array}{cc}Cov(X,X)& Cov(X,Y)\\ Cov(Y,X)& Cov(Y,X)\end{array}\right]$$

数理统计中常用统计量

设$X_i,Y_i$都是一维数据，即$X_i$只有一个特征。
样本均值：$\overline{X}=\frac{1}{N}{\sum }_{i=1}^N{X}_i$

样本方差：$S^2=\frac{1}{N-1}{\sum }_{i=1}^N(X_i-\overline{X}{)}^2$

协方差：$Cov(X,Y)=\frac{1}{N-1}{\sum }_{i=1}^N(X_i-\overline{X})(Y_i-\overline{Y})$
协方差矩阵的计算类似。

上述公式也是机器学习中计算$\mu ,{\sigma }^2$的基本公式。

对多维样本（样本具有多个特征），令$X$为包含$m$个$n$维样本$x^{(i)}$的样本集。则：
$$X=\left[\begin{array}{c}{x^{(1)}}^T\\ {x^{(2)}}^T\\ ⋮\\ {x^{(m)}}^T\end{array}\right]=\left[\begin{array}{cccc}{x}_1^{(1)}& x_2^{(1)}& \dots & x_n^{(1)}\\ x_1^{(2)}& x_2^{(2)}& \dots & x_n^{(2)}\\ ⋮& ⋮& \dots & ⋮\\ x_1^{(m)}& x_2^{(m)}& \dots & x_n^{(m)}\end{array}\right]$$
均值、方差的计算都是每个维度独立进行的。
$$\begin{gathered} X={\mu }_j={\overline{x}}_j=\frac{1}{m}\sum _{i=1}^m{x}_j^{(i)} \\ \mu =[{\mu }_1,{\mu }_2,\dots ,{\mu }_n] \end{gathered}$$

% matlab代码：
mu = mean(X);

协方差$Cov(x_i,x_j)$：
$$Cov(x_i,x_j)=Cov(x_j,x_i)=\frac{1}{m-1}\sum _{k=1}^m(x_i^{(k)}-{\overline{x}}_i)(x_j^{(k)}-{\overline{x}}_j)$$
协方差矩阵$C$（$n\times n$对称矩阵）：
$$C=\left[\begin{array}{cccc}Cov(x_1,x_1)& Cov(x_1,x_2)& \dots & Cov(x_1,x_n)\\ Cov(x_2,x_1)& Cov(x_2,x_2)& \dots & Cov(x_2,x_n)\\ ⋮& ⋮& \dots & ⋮\\ Cov(x_n,x_1)& Cov(x_n,x_2)& \dots & Cov(x_n,x_n)\end{array}\right]$$

%% matlab代码：
C = cov(X) 
% X_center = bsxfun(@minus, mu, X);
% C = cov(C_center);
% C = 1/(m-1)*X_center'*X_center; 

特征分解

特征值和特征向量

定义：设$A$为$n$阶方阵，$\lambda$为变量，把$|\lambda E-A|=0$的根称为$A$的特征值，其中$|\lambda E-A|=0$称为$A$的特征多项式。设${\lambda }_i$为$A$的特征值，则齐次线性方程组$({\lambda }_{i}E-A)x=0$的非零解向量称为A对应于${\lambda }_i$的特征向量。
$Ap=\lambda p,p̸=0$，$\lambda$为特征值，$p$为特征向量。

只要是方阵，就有特征值和特征向量。

特征值和特征向量的性质：
1.n阶方程有且只有n个特征值（k重特征值看做k个）
2.${\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n=tr(A)$
3.${\lambda }_1\cdot {\lambda }_2\cdots {\lambda }_n=|A|$
4.若$\lambda$为$A$的特征值，$p$为对应的特征向量，$k$为正整数，则${\lambda }^k$为$A^k$的特征值，$p$仍是对应的特征向量。即，如果$Ap=\lambda p且p̸=0$，那么有$A^{k}p={\lambda }^{k}p$.

相似矩阵

相似变换： 设$A,B$为$n$阶方阵，如果存在$n$阶可逆矩阵$P(|P|̸=0)$，使得$P^{-1}AP=B$则称$A$与$B$相似；$P^{-1}AP$称为对$A$进行相似变换；$P$称为相似变换矩阵。
向量的正交：$a^{T}b=0$
正交矩阵：实方阵$A$满足$A^{T}A=E$
如果相似变换矩阵$P$为正交矩阵，则称$A$与$B$正交相似；$P^{-1}AP$称为对$A$进行正交相似变换。

相似对角化： 若方阵$A$能与对角阵$\Lambda$相似，则称$A$可相似对角化。即$P^{-1}AP=\Lambda$，其中$\Lambda$称为$A$的相似标准形。
$\Lambda$的所有对角元为$A$的全部特征值：$\Lambda =diag({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n)$。

不是所有的方阵都可相似对角化。
$n$阶方阵$A$可相似对角化的充要条件：$A$有$n$个线性无关的特征向量。

用来把$A$相似对角化的相似变换矩阵$P$是以$A$的$n$个线性无关的特征向量为列所构成的矩阵，所化为的对角矩阵$\Lambda$的对角元恰好为$n$个特征向量，并且特征值在$\Lambda$中的排列顺序与特征向量在$P$中的排列顺序相对应。

特征分解

只有可相似对角化的方阵，才能进行特征分解。
特征分解：$n$阶方阵$A=P\Lambda P^{-1}$. $\Rightarrow AP=\Lambda P$
其中$P$是$n\times n$方阵，第$i$列为$A$的特征向量$p_i$. $\Lambda$是对角阵，${\Lambda }_{ii}$为$p_i$对应的特征值。

%% matlab代码：
[P, Lambda]=eig(A);

SVD分解

可以看做特征分解在任意矩阵上的推广。
针对任意大小的矩阵$A_{m\times n}$：
$$A=U\Sigma V^H=\{\begin{array}{l}U:m\times m矩阵\\ \Sigma :m\times n对角阵\\ V:n\times n矩阵，V^H为V的共轭转置(对实矩阵V^H=V^T)\end{array}$$
$U$的列向量（左奇异向量）为$A{A}^H$的特征向量。
$\Sigma$非零对角元为$A{A}^H$(或$A^{H}A$)的特征值平方根。
$V$的列向量（右奇异向量）为$A^{H}A$的特征向量。

%% matlab代码：
[U, S, V] = svd(A);
% eig()返回的结果中，对角元并不是按从大到小的顺序排列.
[P1, Lambda1] = eig(A'*A); [data,idx]= sort(diag(Lambda1),'descend'); P1= P1(:,idx); Lambda1= diag(data);
[P2, Lambda2] = eig(A*A'); [data,idx]= sort(diag(Lambda2),'descend'); P2= P2(:,idx); Lambda2= diag(data);
% U和P2相等. V和P1相等. S和sqrt(Lambda2)相等, 和sqrt(Lambda1)不完全相等。

对实对称矩阵的单独讨论

由于PCA中涉及协方差矩阵的特征分解或者SVD分解，而协方差矩阵为实对称矩阵，因此有必要针对实对称矩阵具体分析其特征分解和SVD分解的特性。

1.实对称矩阵$A$的特征值都是实数。
2.实对称矩阵$A$中互异特征值$\lambda ,\mu$对应的特征向量$p,q$一定正交（$p^{T}q=0$）。对一般方阵，$p,q$只是线性无关。

3.实对称矩阵$A$一定可相似对角化$P^{-1}AP=diag({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n)$，并且可以用正交相似变化进行相似对角化$Q^{-1}AQ=diag({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n)$。
其中$Q$的第$i$列是$P$中$p_i$的正交单位化，即$Q$为正交阵（$Q^{-1}=Q^T$）。

4.对实对称矩阵$A$，有$A^{H}A=A^{T}A=A{A}^T=A{A}^H=A^2$
5.实对称矩阵$A$的SVD分解：
$$\begin{gathered} A=U\Sigma V^T \\ \begin{array}{l}其中\Sigma 对角元是A^{T}A(或A{A}^T）的特征值平方根\\ 令A的特征值和特性向量为\lambda ,p\\ 则有,A^{T}A=A^2的特征值和特征向量分别为{\lambda }^2,p(\to V)\\ 同理,A{A}^T=A^2的特征值和特征向量分别为{\lambda }^2,p(\to U)\end{array} \end{gathered}$$
因此，对实对称矩阵$A$，其特征分解和SVD分解的结果相同：

%% matlab代码
[U, S, V] = svd(A);
[P, lambda] = eig(A); [data,idx]= sort(diag(lambda),'descend'); P= P(:,idx); lambda= diag(data);
% S和lambda相等. U,V,P之间两两相等(向量方向可能不同).

PCA三种求解形式对比

对多维样本（样本具有多个特征），令$X$为包含$m$个$n$维样本$x^{(i)}$的样本集：
$$X=\left[\begin{array}{c}{x^{(1)}}^T\\ {x^{(2)}}^T\\ ⋮\\ {x^{(m)}}^T\end{array}\right]=\left[\begin{array}{cccc}{x}_1^{(1)}& x_2^{(1)}& \dots & x_n^{(1)}\\ x_1^{(2)}& x_2^{(2)}& \dots & x_n^{(2)}\\ ⋮& ⋮& \dots & ⋮\\ x_1^{(m)}& x_2^{(m)}& \dots & x_n^{(m)}\end{array}\right]$$
PCA降维需要求解$X^{T}X$的特征向量。由于$X^{T}X$为对称矩阵，因此有三种求解方法：

其中(3)是最为常用的求解方法。