【白板推导系列笔记】降维-PCA-最大投影方差&最小重构代价

作者：shuhuai008
链接：【机器学习】【白板推导系列】【合集 1～33】_哔哩哔哩_bilibili

PCA的核心就是对原始特征空间的重构（将一组可能线性相关的变量，通过正交变换变换成一组线性无关的变量）
两个基本的要求是最大投影方差（即找到的投影方向对于数据集投影方差最大），最小重构代价（即降维所得到的新数据与原数据相比，信息损失最小）

$$\begin{array}{c}X={\left(\begin{array}{cccc}{x}_1& x_2& \cdots & x_N\end{array}\right)}_{N\times p}^T=\left(\begin{array}{c}{x}_1^T\\ x_2^T\\ ⋮\\ x_N^T\end{array}\right)={\left(\begin{array}{cccc}{x}_{11}& x_{12}& \cdots & x_{1p}\\ x_{21}& x_{22}& \cdots & x_{2p}\\ ⋮& ⋮& & ⋮\\ x_{N1}& x_{N2}& \cdots & x_{NP}\end{array}\right)}_{N\times p}\\ x_i\in {\mathbb{R}}^p,i=1,2,\cdots ,N\\ 记1_N={\left(\begin{array}{c}1\\ 1\\ ⋮\\ 1\end{array}\right)}_{N\times 1}\\ \bar{x}=\frac{1}{N}{X}^T{1}_N,S=\frac{1}{N}{X}^T\mathbb{H}X\end{array}$$
对于新的方向向量$u_1$，归零化后数据的投影为
$$(x_i-\bar{x})u_1$$
显然由于归零化，新的数据集$\bar{x}=0$（即对于$x_i-\bar{x}$数据集），因此投影方差为
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N[(x_i-\bar{x}{)}^T{u}_1{]}^2-0^2\\ & =\frac{1}{N}\sum _{i=1}^N[(x_i-\bar{x}{)}^T{u}_1{]}^2\\ & =u_1^T\left(\sum _{i=1}^N\frac{1}{N}(x_i-\bar{x})(x_i-\bar{x}{)}^T\right)u_1\\ & =u_1^T\cdot S\cdot u_1\end{array}$$
对于$\widehat{u_1}$
$$\begin{array}{rl}\widehat{u_1}& =\underset{u_1}{\mathrm{argmax}}{u}_1^T\cdot S\cdot u_1\end{array}$$
这里我们令$u_1^T{u}_1=1$，因此，根据拉格朗日数乘法有
$$\begin{array}{rl}L(u,\lambda )& =u_1^{T}S{u}_1+\lambda (1-u_1^T{u}_1)\\ \frac{\partial L(u,\lambda )}{\partial u_1}& =2S{u}_1-\lambda 2u_1=0\\ S{u}_1& =\lambda u_1\end{array}$$
上式对于方差矩阵$S$，$u_1$即为特征向量，$\lambda$即为特征值。将该式代回$\widehat{u_1}$
$$\begin{array}{rl}\widehat{u_1}& =\underset{u_1}{\mathrm{argmax}}{u}_1^T\lambda u_1\\ & =\underset{u_1}{\mathrm{argmax}}\lambda u_1^T{u}_1\\ & =\underset{u_1}{\mathrm{argmax}}\lambda \end{array}$$
这里是对于降维后只有一个向量，如果是想要降维后有$q$个向量，思路大体一致
$$\begin{array}{rl}J& =\sum _{j=1}^q{u}_j^{T}S{u}_j\\ & =\sum _{j=1}^q{\lambda }_j(从大到小取\lambda )\end{array}$$
另一个角度要求最小重构代价。对于原数据$x_i$，原本是$p$维向量，如果我们保留$u_i$的所有向量，则可表示为
$$x_i=\sum _{k=1}^p(x_i^T{u}_i)u_i$$
其中$x_i^T{u}_i$可以认为是投影长度，也就是单位长度$u_i$为单位向量。
对于${\hat{x}}_i$，其也是$p$维的，但我们假设只保留其最大$\lambda$对应的前$q$个维度，则可表示为
$$\widehat{x_i}=\sum _{k=1}^q(x_i^T{u}_i)u_i$$
在PCA中，由于我们需要中心化原数据集，因此上述$x_i$需要变为$x_i-\bar{x}$（其实道理都一样），对应损失函数
$$\begin{array}{rl}J& =\frac{1}{N}\sum _{i=1}^N||(x_i-\bar{x})-\widehat{x_i}|{|}^2\\ & =\frac{1}{N}\sum _{i=1}^N{\left|\left|\sum _{k=q+1}^p[(x_i-\bar{x}{)}^T{u}_k]u_k\right|\right|}^2\\ & =\frac{1}{N}\sum _{i=1}^N\sum _{k=q+1}^p[(x_i-\bar{x}{)}^T{u}_k{]}^2\\ & =\sum _{k=q+1}^p\underset{u_k^T\cdot S\cdot u_k}{\sum _{i=1}^N\frac{1}{N}[(x_i-\bar{x}{)}^T{u}_k{]}^2}\\ & =\sum _{k=q+1}^p{u}_k^T\cdot S\cdot u_k\end{array}$$
因此对于$\widehat{u_k}$，有
$$\widehat{u_k}=\mathrm{argmin}{u}_k^{T}S{u}_k$$
再根据之前的要求$u_k^T{u}_k=1$，建立拉格朗日函数和上面最大投影方差完全相同，不再展示
这里就说明了两个角度最大投影方差，最小重构代价是相同的