SVD和PCA详细原理以及联系（包含公式推导）

初始假设

假设$X\in R^{n\times d}$，即为$n$个样本，$d$维的矩阵，将每个数据矢量的条目合并，使得$X_i^T=(X_{i}1,\dots ,X_{i}d)$。 在将这些向量放入数据矩阵之前，我们实际上会减去数据的平均值，即：$$\mu =\frac{1}{n}\sum _{i=1}^n{X}_i=(\sum _{i=1}^n{X}_{i}1,\dots ,X_{i}d{)}^T$$
然后用每一列减去${\mu }^T$，得到零中心向量作为矩阵的行：
$$X=\left(\begin{array}{c}{X}_1^T-{\mu }^T\\ \\ X_2^T-{\mu }^T\\ \dots \\ \\ X_n^T-{\mu }^T\end{array}\right)$$
样本的协方差$S$为：
$$S=\frac{1}{n-1}\sum _{i=1}^n(X_i-\mu )(X_i-\mu {)}^T=\frac{1}{n-1}{X}^{T}X$$

主成分分析（PCA）

主成分分析(PCA)是一种数据降维技巧，它能将大量相关变量转化为一组很少的不相关变
量，这些无关变量称为主成分。例如，使用PCA可将30个相关(很可能冗余)的环境变量转化为5个无关的成分变量，并且尽可能地保留原始数据集的信息，即使这些成分变量对“原始方差”的贡献程度尽可能大。
PCA是找到一个$k\le d$的单位向量的集合$V_i\in R^d(i=1,2,\dots ,k)$，称为主成分PC，其满足：投影到由$V_i$确定方向上的数据集方差被最大化，且$V_i$被选择与之正交。
现在，将矢量$X\in R^d$投影到由任何$V_i$确定的方向上，可以简单的写成点积$V_i^T\cdot X$，这意味着投影到第一个主成分$V_1$上的数据集的方差可以写为：
$$\frac{1}{n-1}\sum _{i=1}^n(V_1^T{X}_i-V_1^T\mu {)}^2=V_1^T\cdot S\cdot V_1$$
在$V_1^T{V}_1=1$的前提下取最大化$V_1$的值，此时有：$S{V}_1={\lambda }_1{V}_1$，意味着$V_1$是协方差矩阵S的特征向量，相应的特征值恰好等于沿$V_1$数据集的方差：
$$V_1^{T}S{V}_1={\lambda }_1$$
将数据投影到新方向$V_2$上继续此过程，同时强制要求$V_1$与$V_2$正交，然后在$V_3$与$V_1$、$V_2$正交的条件下寻找$V_3$，以此类推，最终的结果是$X$的第一个$k$主成分恰好对应由它们特征向量排序的协方差矩阵$S$的特征向量，特征值恰好等于沿对应特征向量的数据集方差。
此结果表明了$S$上有一整套正交的特征向量，$S$为对称矩阵，满足$S=S^T$，取$k=d$个主成分，构造一个$d\times d$的矩阵$V$，列为$S$的特征向量，$S$为：
$$S=V\wedge V^T=\sum _{i=1}^r{\lambda }_i{V}_i{V}_i^T(\wedge =diag({\lambda }_1,\dots ,{\lambda }_d)$$

奇异值分解（SVD）

奇异值分解上一种矩阵分解方法，相较于特征值分解只能针对方阵，它可以分解几乎任何矩阵，是目前为止可以说是最好的矩阵分解方法。任意矩阵$A\in R^{n\times d}$的奇异值分解可以看作为线性变换时，$A$将单位球面$S^d\subset R^d$映射到$R^n$中的超椭圆：

椭圆$A{S}^d\in R^n$的半轴长度${\sigma }_i$是$A$的奇异值，沿着半轴的单位向量$u_i$称为$A$的“左”奇异向量，单位向量$v_i$是$A$的“右”奇异向量，$r=rank(A)$，即r是A的秩。下为奇异值分解的具体方法：
$$U=[u_1,\dots ,u_n]\in R^{n\times n}$$$$\Sigma =diag[{\sigma }_1,\dots ,{\sigma }_n]\in R^{n\times d}$$$$V=[v_1,\dots ,v_d]\in R^{d\times d}$$$$AV=U\Sigma$$故有：$$A=U\Sigma V^T$$
即将矩阵$A$分解为右边三个矩阵相乘，其中，$U、V$为正交矩阵，$\Sigma$只有对角元素而且对角元素是从大到小排列的，这些对角元素称为奇异值。在几何中，我们可以把矩阵看做空间上的线性变换，而奇异值分解的几何含义是：对于任何的一个矩阵，我们都能找到一组坐标轴，它是由原来的坐标轴通过旋转和缩放得到的。奇异值的含义就是这组变换后新的坐标轴的长度。

矩阵$A$的作用是将一个向量从$V$这组正交向量空间中旋转到$U$空间，并按照$\Sigma$在各个方向上做了缩放，缩放倍数就是奇异值。 由简单的矩阵乘法可得：
$$A^{T}A=V{\Sigma }^2{V}^T$$$$A{A}^T=U{\Sigma }^2{U}^T$$因此$V$是$A^{T}A$的特征向量，$U$是$A{A}^T$的特征向量，奇异值的平方${\sigma }^2$是$A^{T}A$和$A{A}^T$共同的特征值，再将奇异值从大到小排列，前$k$个奇异值可以近似描述矩阵$A=U\Sigma V^T$。

PCA与SVD的联系

PCA的运行原理很简单，就是对原始的空间中顺序地找一组组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第一、二个轴正交的平面中方差最大的。这样假设在N维空间中，我们可以找到N个这样的坐标轴，我们取前r个去近似这个空间（因为维数越靠后的空间轴的重要性是依次降低的），这样就从一个N维的空间转化到到r维的空间了，虽然这样做会使得数据有所损失，但是我们选择的r个坐标轴能够使得空间的压缩使得数据的损失最小。SVD得出的奇异向量也是从奇异值由大到小排列的，从PCA的观点来看，就是方差最大的坐标轴就是第一个奇异向量，方差次大的坐标轴就是第二个奇异向量，依此类推，由于推导公式比较繁琐，故下面我用手写的方式说明二者之间的联系：
如果要对行进行压缩只需要在$A=U\Sigma V^T$的左边乘上$U$的转秩即可。可以说，PCA是对SVD的一个包装和使用，如果我们实现了SVD，那也就自然而然实现了PCA，而且相较于单纯的对$A^{T}A$进行特征值分解只得到一个方向上的PCA更好的地方是，有了SVD，我们就可以得到两个方向的PCA。

由于本人所学有限，如有错误，还望指正。