主成分分析（PCA）原理详解-特征值分解&&SVD分解

主成分分析（PCA）原理详解

1.PCA的概念

PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。
通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。
得到协方差矩阵的特征值特征向量有两种方法：特征值分解协方差矩阵、奇异值分解协方差矩阵，所以PCA算法有两种实现方法：

• 基于特征值分解协方差矩阵实现PCA算法
• 基于SVD分解协方差矩阵实现PCA算法

2.协方差矩阵和散度矩阵

• 样本均值:
  $$\tilde{x}=\frac{1}{n}\sum _{i=1}^n{a}_i$$

• 样本方差：
  $$s^2=\frac{1}{n-1}\sum _{i=1}^1(x_i-\tilde{x}{)}^2$$

• 样本x和y的协方差：
  $$cov(x,y)=E[(x-E(x))(y-E(y))]$$
  $$=\frac{1}{n-1}\sum _{i=1}^n(x_i-\tilde{x})(y_i-\tilde{y})$$

  • $cov(x,y)>0,x,y$是正相关
  • $cov(x,y)=0,x,y$相互独立
  • $cov(x,y)<0,x,y$是负相关

• 当样本是$n$维矩阵时，它们的协方差实际上是协方差矩阵（对称方阵）

• 对于三维矩阵$(x,y,z)$,它们的协方差是：
  $$cov(x,y,z)=\left(\begin{array}{ccc}cov(x,x)& cov(x,y)& cov(x,z)\\ cov(y,x)& cov(y,y)& cov(y,z)\\ cov(z,x)& cov(z,y)& cov(z,z)\end{array}\right)$$

• 散度矩阵
  $$S=\sum _{k-1}^n(x_k-\tilde{x})(x_k-\tilde{x}{)}^T$$

对于数据x的散度矩阵$X{X}^T$
散度矩阵=协方差矩阵$\times$(总数据量 -1)
因此散度矩阵和协方差矩阵的特征值相同，特征向量相同
其中散度矩阵也是SVD奇异分解的第一步

3.特征值分解矩阵

3.1特征值与特征向量

$$A\nu =\lambda \nu$$
其中：$\nu$表示特征向量，$\lambda$表示特征值
矩阵的一组特征向量是一组正交向量

3.2特征值分解矩阵

对于矩阵A,有一组特征向量$\nu$,将这组特征向量进行正交化单位化，就能得到一组正交单位向量，特征值分解就是将矩阵A分解为如下格式：
$A=Q\Sigma Q$^-1
其中，$Q$是矩阵A的特征向量组成的矩阵，$\Sigma$是一个对角阵，对角线上的元素就是特征值。

特征值分解的例子

分解如下矩阵：
$$A=\left(\begin{array}{ccc}-1& 1& 0\\ -4& 3& 0\\ 1& 0& 2\end{array}\right)$$
首先有方阵的特征方程求出特征值.
$|\lambda E-A|=\left|\begin{array}{ccc}-1-\lambda & 1& 0\\ -4& 3-\lambda & 0\\ 1& 0& 2-\lambda \end{array}\right|$$=(2-\lambda )(\lambda -1{)}^2=0$
特征值$\lambda =2,1$（重根为2）

然后把每个特征值代入线性方程组$(A-\lambda E)x=0$,求出特征向量
当$\lambda =2$时，解线性方程组$(A-2E)x=0$
$$A-2E=\left(\begin{array}{ccc}-3& 1& 0\\ -4& 1& 0\\ 1& 0& 0\end{array}\right)>>>\left(\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right)$$
解得：$x_1=0,x_2=0$
特征向量$$p_1=\left(\begin{array}{c}0\\ 0\\ 0\end{array}\right)$$

当$\lambda =1$时，解线性方程组：
$$(A-2E)x=0$$
$$(A-2E)=\left(\begin{array}{ccc}-2& 1& 0\\ -4& 2& 0\\ 1& 0& 1\end{array}\right)>>>\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& 2\\ 0& 0& 0\end{array}\right)$$
所以有：
$$\{\begin{array}{l}{x}_1+x_3=0\\ x_2+2x_3=0\end{array}$$
特征向量为$$p_2=\left(\begin{array}{c}-1\\ -2\\ 1\end{array}\right)$$
最后方阵A的特征值分解为：
$$A=Q\Sigma Q^{-1}=\left(\begin{array}{ccc}1& 0& 1\\ 0& 1& 2\\ 0& 0& 0\end{array}\right)\left(\begin{array}{ccc}2& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{ccc}0& -1& -1\\ 0& -2& -2\\ 1& 1& 1\end{array}\right)$$

4.SVD分解矩阵原理

特征值分解只适用于方阵，即$n\times n$的矩阵，而在实际应用中，大部分都不是方阵
$$A=U\Sigma V^T$$
其中：
A：$m\times n$矩阵
$U：m\times m$方阵，里面的正交向量被称为左奇异向量
$\Sigma ：m\times n$矩阵，除对角线外，其他元素都是0，对角线上的元素称为奇异值
$V^T:V$的转置矩阵，是$n\times n$矩阵，里面的正交向量称为右奇异向量
一般来说，将$\Sigma$上的值按从小到大排列

$SVD$分解矩阵A的步骤

• 求$A{A}^T$的特征值和特征向量，用单位化的特征向量构成$U$
• 求$A^{T}A$的特征值和特征向量，用单位化的特征向量构成$V$
• 将$A{A}^T$或$A^{T}A$的特征值求平方根，构成$\Sigma$

SVD的例子

$$A=\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)$$
首先计算
$$A{A}^T=\left(\begin{array}{ccc}0& 1& 1\\ 1& 1& 0\end{array}\right)\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$$
$$A^{T}A=\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)\left(\begin{array}{ccc}0& 1& 1\\ 1& 1& 0\end{array}\right)=\left(\begin{array}{ccc}1& 1& 0\\ 1& 2& 1\\ 0& 1& 1\end{array}\right)$$
然后计算$A{A}^T$或$A^{T}A$的特征值和特征向量：
$A{A}^T$的特征值和特征向量：

$${\lambda }_1=3,V_1=\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)$$
$${\lambda }_2=1,V_2=\left(\begin{array}{c}-\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)$$

$A^{T}A$的特征值和特征向量：

$${\lambda }_1=3,U_1=\left(\begin{array}{c}\frac{1}{\sqrt{6}}\\ \frac{2}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}\end{array}\right)$$
$${\lambda }_2=1,U_2=\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ 0\\ -\frac{1}{\sqrt{2}}\end{array}\right)$$
$${\lambda }_2=1,U_2=\left(\begin{array}{c}\frac{1}{\sqrt{3}}\\ -\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\end{array}\right)$$

然后，利用$A{V}_i={\sigma }_i{u}_i,i-1,2$,求奇异值
$$\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)={\sigma }_1\left(\begin{array}{c}\frac{1}{\sqrt{6}}\\ \frac{2}{\sqrt{6}}\\ \frac{1}{\sqrt{6}}\end{array}\right)$$
解得：${\sigma }_1=\sqrt{3}$

$$\left(\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right)\left(\begin{array}{c}-\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)={\sigma }_1\left(\begin{array}{c}\frac{1}{\sqrt{3}}\\ -\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{3}}\end{array}\right)$$
解得：${\sigma }_2=1$

【注】这一步也可以用${\sigma }_i=\sqrt{{\lambda }_i}$直接计算求出奇异值$\sqrt{3}$和$1$
最后得到A的奇异值分解为：
$$A=U\Sigma V^T=\left(\begin{array}{ccc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{2}{\sqrt{6}}& 0& -\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\end{array}\right)\left(\begin{array}{cc}\sqrt{3}& 0\\ 0& 1\\ 0& 0\end{array}\right)\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)$$

5.PCA算法实现的两种方法

(1) 基于特征值分解协方差矩阵实现PCA算法

输入：数据集$x=\{x_1,x_2,x_3,\cdots ,x_n\}$，需要降到$k$维

• 去平均值(即去中心化)，每一维特征减去各自的平均值
• 计算协方差矩阵$\frac{1}{n}X{X}^T$
  【注】这里除$n$或者$n-1$，对计算结果没有影响
• 用特征值分解法求协方差矩阵$\frac{1}{n}X{X}^T$的特征值和特征向量
• 对特征值从小到大排序，选择其中最大的$k$个，然后将其对应的$k$个特征向量分别作为行向量组成特征向量矩阵$P$
• 将数据转换到$k$个特征向量构建的新空间中，即$Y=PX$

【例】
若有$X$矩阵如下：请使用PCA方法将$X$降为1行数据
$$X=\left(\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right)$$
(1)因为$X$矩阵每行已经是零均值，因此不需要再去求均值
(2)求协方差矩阵
$$C=\frac{1}{5}\left(\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right){\left(\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right)}^T=\left(\begin{array}{cc}\frac{6}{5}& \frac{4}{5}\\ \frac{4}{5}& \frac{6}{5}\end{array}\right)$$

(3)求协方差矩阵的特征值和特征向量
求解后的特征值为：
${\lambda }_1=2,{\lambda }_2=\frac{2}{5}$

对应的特征向量为一个通解，$C_1,C_2$可取任意实数，标准化后的特征向量为：
$$\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right),\left(\begin{array}{c}-\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)$$

(4)矩阵$P$为
$$P=\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)$$
(5)最后，我们用$P$的第一行乘以数据矩阵$X$,就得到了降维后的表示：
$$Y=\left(\begin{array}{c}\frac{1}{\sqrt{2}}\frac{1}{\sqrt{2}}\end{array}\right)\left(\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right)=\left(\begin{array}{ccccc}-\frac{3}{\sqrt{2}}& -\frac{1}{\sqrt{2}}& 0& \frac{3}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right)$$

注意：通过特征值分解协方差矩阵，那么我们只能得到一个方向的PCA降维，这个方向就是对数据矩阵X从行(或列)方向上的压缩存储

(2)基于SVD分解协方差矩阵实现PCA算法

输入：数据集$x=\{x_1,x_2,x_3,\cdots ,x_n\}$，需要降到$k$维

• 去平均值，每一维特征减去各自的平均值
• 计算协方差矩阵
• 通过SVD计算协方差矩阵的特征值和特征向量
• 对特征值从大到小排序，选取其中最大的K个，然后将其对应的K个特征向量分别作为列向量组成特征向量矩阵
• 将数据转换到K个特征向量构建的新空间中
  【注】
  (1)当样本量很大的时候，往往采用SVD实现PCA算法，因为SVD可以不计算特征值，大量的样本的特征值的计算量往往很大
  (2)右奇异矩阵的用处：
  假设样本是$m\times n$的矩阵X，通过SVD找到矩阵$X^{T}X$最大的K个特征值组成的矩阵$V^T$,则我们做如下处理：
  $X_{m\times n}^{{}^{\prime }}=X_{m\times n}{V}_{n\times k}^T>>>$列数从n减到k即进行了列压缩。
  左奇异矩阵用于对行数的压缩，右奇异矩阵用于对列数的压缩

6.PCA的python实现

##Python实现PCA
import numpy as np
def pca(X,k):#k is the components you want
  #mean of each feature
  n_samples, n_features = X.shape
  mean=np.array([np.mean(X[:,i]) for i in range(n_features)])
  #normalization
  norm_X=X-mean
  #scatter matrix
  scatter_matrix=np.dot(np.transpose(norm_X),norm_X)
  #Calculate the eigenvectors and eigenvalues
  eig_val, eig_vec = np.linalg.eig(scatter_matrix)
  eig_pairs = [(np.abs(eig_val[i]), eig_vec[:,i]) for i in range(n_features)]
  # sort eig_vec based on eig_val from highest to lowest
  eig_pairs.sort(reverse=True)
  # select the top k eig_vec
  feature=np.array([ele[1] for ele in eig_pairs[:k]])
  #get new data
  data=np.dot(norm_X,np.transpose(feature))
  return data
 
X = np.array([[-1, 1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
 
print(pca(X,1))

上面代码实现了对数据X进行特征的降维。结果如下：

参考博文：https://blog.csdn.net/program_developer/article/details/80632779