维度灾难
当样本数据的维度较高时，可能会面临维度灾难问题。https://zhuanlan.zhihu.com/p/87389704。概括来说，当数据的维度越高，要找到最优解甚至达到稍低维度时模型的同等performance，所需要的数据越多，而且是成几何数增长的。
一种有效的解决方法是降维。
样本均值和样本协方差
给定样本数据$X=(x_1,x_2,\cdots,x_N)^T_{N\times P}$，其中$N$表示样本个数，$P$表示样本的维度，$x_i=(x_{i,1},\cdots,x_{i,P})^T$，$x_i \in \mathbb{R}^P,i=1,\cdots,N$。
样本均值为，
$$\begin{equation}\begin{aligned}\overline{x}_{P\times 1}&=\frac{1}{N}\sum_{i=1}^N x_i\\&=\frac{1}{N}\underbrace{(x_1,x_2,\cdots,x_N)}_{X^T}\begin{pmatrix}1 \\1\\\vdots\\1\end{pmatrix}_{N\times 1}\\&=\frac{1}{N}X^T\mathbf{1}_{N}\end{aligned}\tag{1}\end{equation}$$
样本协方差为
$$\begin{equation}\begin{aligned}S_{P\times P}&=\frac{1}{N}\sum_{i=1}^{N}(x_i -\overline{x})(x_i - \overline{x})^T\\&=\frac{1}{N}\underbrace{(x_1-\overline{x},x_2-\overline{x},\cdots,x_N-\overline{x})}_{X^T-\frac{1}{N}X^T\mathbf{1}_N\mathbf{1}_N^T}\begin{pmatrix}(x_1-\overline{x})^T \\(x_2-\overline{x})^T\\\vdots\\(x_N-\overline{x})^T\end{pmatrix}_{N\times P}\\&=\frac{1}{N}X^T\underbrace{(I_N-\frac{1}{N}\mathbf{1}_N\mathbf{1}_N^T)}_{H}\underbrace{(I_N-\frac{1}{N}\mathbf{1}_N\mathbf{1}_N^T)^T}_{H^T}X\\&=\frac{1}{N}X^THH^TX\\&=\frac{1}{N}X^THX\end{aligned}\tag{2}\end{equation}$$
其中，$H$称为centering matrix，易证明$H^T=H,H^n=H$。
原始特征空间的重构
PCA将为的主要思想是：对原始特征空间进行重构，具体做法是找到一组线性无关的基（主成分）代替原来的线性相关的基。
角度一：最大投影方差
以二维空间空间为例，将数据投影到$u_1$和$u_2$方向上，显然在$u_1$方向上的投影方差大于在$u_2$方向上的投影方差。如果样本的维度为$P$，希望降维到$Q$维，则就是要找到投影方差最大的$Q$个方向（相互正交），也称为主成分。
假设由向量$\mathbf{a}$和方向向量$\mathbf{b}$，并且$\mathbf{b}$的模为1，即$\mathbf{b}^T\mathbf{b}=1$，则$\mathbf{a}$在$\mathbf{b}$上的投影为$\mathbf{a}^T\mathbf{b}$。
假设希望找到方向$u$，使得投影方差最大，则最大化下式
$$\begin{equation}\begin{aligned}J&=\frac{1}{N}\sum_{i=1}^{N}((x_i-\overline{x})^Tu)^2\\&=\sum_{i=1}^N\frac{1}{N}u^T(x_i-\overline{x})(x_i-\overline{x})^Tu\\&=u^T(\sum_{i=1}^N\frac{1}{N}(x_i-\overline{x})(x_i-\overline{x})^T)u\\&=u^T Su\end{aligned}\tag{3}\end{equation}$$
最大化带约束的目标函数
$$\begin{equation}\begin{cases}\hat{u}=\arg\max_{u}J \\ s.t.u^Tu=1\end{cases}\tag{4}\end{equation}$$
使用拉格朗日乘子法，
$$\begin{equation}\mathscr{L}(u,\lambda)=u^TSu+\lambda(1-u^Tu)\tag{5}\end{equation}$$
对$u$求导，令其等于0
$$\begin{equation}\frac{\partial \mathscr{L}}{\partial u}=2Su-\lambda\cdot 2u=0\tag{6}\end{equation}$$
即求u满足$Su=\lambda u$，可以看出$u$实际上就是样本协方差矩阵的特征向量，$\lambda$是其对应的特征值。将$Su=\lambda u$代入式(3)，得到$J=u^T\lambda u=\lambda$，因此如果希望将原始维度由$P$降到$Q$，及选择前Q大的特征值对应的特征向量作为主成分，重构原始的数据。
对于原始数据$x_i$，可以用新得到的线性无关的基表示
$$\begin{equation}x_i=\sum_{k=1}^P((x_i-\overline{x})^Tu_k)u_k\tag{7}\end{equation}$$
假设主成分为$u1,\cdots,u_Q$，根据主成分重构数据，
$$\begin{equation}\hat{x}_i=\sum_{k=1}^Q((x_i-\overline{x})^Tu_k)u_k\tag{8}\end{equation}$$
角度二：最小重构距离
使用PCA降维后得到的重构数据，要尽量与原始数据相似。
$$\begin{equation}\begin{aligned}J&=\frac{1}{N}\sum_{i=1}^N||x_i-\hat{x}_i||^{2}\\&=\frac{1}{N}\sum_{i=1}^N||\sum_{k=Q+1}^P((x_i-\overline{x})^Tu_k)u_k||^2\\&=\frac{1}{N}\sum_{i=1}^N\sum_{k=Q+1}^P((x_i-\overline{x})^Tu_k)^2\\&=\sum_{k=Q+1}^P\frac{1}{N }\sum_{i=1}^Nu_k^T(x_i-\overline{x})(x_i-\overline{x})^Tu_k\\&=\sum_{k=Q+1}^Pu_k^TSu_k\end{aligned}\tag{9}\end{equation}$$
又因为u是线性无关的，因此最小化式(9)可以分别对$u_k^TSu_k,u_k^Tu_k=1,k=Q+1,\cdots,P$进行最小化，因此就等价于找到最小的$P-Q+1$个特征值对应的特征向量，剩余的Q个特征向量作为主成分。
PCA和SVD的关系
实对称矩阵的特征值分解
对于一个mxm的实对称矩阵$A$，可以分解为如下形式，
$$ \begin{equation}A = Q\Sigma Q^T= Q\left[ \begin{matrix} \lambda_1 & \cdots & \cdots & \cdots\\ \cdots & \lambda_2 & \cdots & \cdots\\ \cdots & \cdots & \ddots & \cdots\\ \cdots & \cdots & \cdots & \lambda_m\\ \end{matrix} \right]_{m \times m}Q^T \tag{10} \end{equation} $$
其中$Q$为标准正交阵，即有$QQ^T=I$，$I$为单位阵,$\lambda_i$为特征值，$q_i$是特征矩阵$Q$的列向量，为特征向量。
奇异值分解定义
对于一个$m\times n$的实数矩阵$A$，可以分解为如下形式
$$\begin{equation}A=U\Sigma V^T=U\left[\begin{matrix}\sigma_1 & 0 & 0 & 0 & 0\\0 & \sigma_2 & 0 & 0 & 0\\0 & 0 & \ddots & 0 & 0\\0 & 0 & 0 & \ddots & 0\\\end{matrix}\right]_{m\times n}V^T\tag{11}\end{equation}$$
其中，$U$和$V$为单位正交阵，即$UU^T=I$，$VV^T=I$，$U$称为左奇异矩阵，$V$称为右奇异矩阵，$\Sigma$为对角矩阵，主对角线上的值称为奇异值（主对角线上的元素非负，且不为0的个数取决于A的秩）。
对$HX$进行奇异值分解（SVD），
$$\begin{equation}HX=U\Sigma V^T\tag{12}\end{equation}$$
样本协方差矩阵$S_{P\times P}=X^THX=X^TH^THX$，将式(12)代入，得到
$$\begin{equation}S_{P\times P}=(U\Sigma V^T)^T U\Sigma V^T=V\Sigma^2V^T\tag{13}\end{equation}$$
假设$T=HXX^TH^T$，则代入式(12)，得到
$$\begin{equation}T_{N\times N}=U\Sigma V^T(U\Sigma V^T)^T =U\Sigma^2U^T\tag{14}\end{equation}$$
可以看出，式(11)和(12)是对$S$和$T$的矩阵分解，两者的特征值相同。$V$的列向量为$S$的特征向量，$U$的列向量为$T$的特征向量。有上文可知样本协方差矩阵的特征向量构成主成分，且原始数据使用新的基表示的坐标为$H^TXV=U\Sigma V^TV=U\Sigma$，而$TU\Sigma=U\Sigma^2U^TU\Sigma=U\Sigma \Sigma^2$，显然$U\Sigma$由$T$的特征向量组成，结合式(12)，坐标可以通过标准正交阵$U$缩放得到。
因此，$S$的特征分解直接得到准成分，然后计算$HXV$得到坐标；而$T$的特征分解则可以直接得到坐标。