PCA主成分分析法浅理解

ML课刚学，发现更多是对线性代数的回顾。更进一步说，统计机器学习方法就是以高数、线代和概率论为基石构筑的“一栋大厦”。下面主要沿着老师ppt的思路讲讲对PCA方法的个人理解。

---

这里$u_1^T{x}^{(i)}$是$x^{(i)}$在单位方向向量$u_1$上的投影长度，实际上$\frac{u_1\cdot x^{(i)}}{|u_1|}=u_1\cdot x^{(i)}=u_1^T{x}^{(i)}$.

求取投影后数据的方差，并通过协方差矩阵的形式表达：
$$\begin{gathered} \frac{1}{N}{\sum }_{i=1}^N(u_1^T{x}^{(i)}-u_1^T\mu {)}^2 \\ =\frac{1}{N}{\sum }_{i=1}^N((x^{(i)}{)}^T{u}_1-{\mu }^T{u}_1{)}^2 \\ =\frac{1}{N}{\sum }_{i=1}^N((x^{(i)}{)}^T{u}_1-{\mu }^T{u}_1{)}^T((x^{(i)}{)}^T{u}_1-{\mu }^T{u}_1) \\ =\frac{1}{N}{\sum }_{i=1}^N{u}_1^T((x^{(i)}{)}^T-{\mu }^T{)}^T((x^{(i)}{)}^T-{\mu }^T)u_1 \\ =\frac{1}{N}{\sum }_{i=1}^N{u}_1^T((x^{(i)})-\mu )((x^{(i)})-\mu {)}^T{u}_1 \\ =u_1^T[\frac{1}{N}{\sum }_{i=1}^N((x^{(i)})-\mu )((x^{(i)})-\mu {)}^T]u_1 \\ =u_1^{T}S{u}_1 \end{gathered}$$
第一步变换，将点积表达为$u_1^T{x}^{(i)}$和$(x^{(i)}{)}^T{u}_1$是等价的。

优化目标为使投影数据的方差最大，根据最大方差理论：方差越大，信息量越大。以此为目标使投影保留的数据信息量最大，损失最小。使用拉格朗日乘子法求解：
这里要用到矩阵求导公式：${\nabla }_X{X}^{T}AX=(A+A^T)X$.

求导后我们发现极值处，${\lambda }_1$不就是协方差矩阵$S$的特征值，$u_1$不就是对应的特征向量！左右同时乘上$u_1^T$，得到$u_1^{T}S{u}_1={\lambda }_1$，等式左侧正是我们的优化目标，特征值${\lambda }_1$就是数据投影至向量$u_1$上的方差。
因此，在算法步骤中，对$S$进行特征值分解，将特征值从大到小排序${\lambda }_1,{\lambda }_2,...{\lambda }_n$，对应的特征向量为$u_1,u_2,...u_n$，取前$K$个作投影，将数据降至$K$维。

PCA算法步骤：

前面提到损失最小，如何量化说明这点？通过降维后的数据重构原数据$x^{(i)}$，看损失了多少，是不是最小。

$$\begin{gathered} ||x^{(i)}-u{u}^T{x}^{(i)}|{|}^2 \\ =(x^{(i)}-u{u}^T{x}^{(i)}{)}^T(x^{(i)}-u{u}^T{x}^{(i)}) \\ =((x^{(i)}{)}^T-(x^{(i)}{)}^{T}u{u}^T)(x^{(i)}-u{u}^T{x}^{(i)}) \\ =(x^{(i)}{)}^T{x}^{(i)}-2(x^{(i)}{)}^{T}u{u}^T{x}^{(i)}+(x^{(i)}{)}^{T}u{u}^{T}u{u}^T{x}^{(i)} \\ =(x^{(i)}{)}^T{x}^{(i)}-2(x^{(i)}{)}^{T}u{u}^T{x}^{(i)}+(x^{(i)}{)}^{T}u{u}^T{x}^{(i)} \\ =(x^{(i)}{)}^T{x}^{(i)}-(x^{(i)}{)}^{T}u{u}^T{x}^{(i)} \end{gathered}$$

而 $$\begin{gathered} min\sum ((x^{(i)}{)}^T{x}^{(i)}-(x^{(i)}{)}^{T}u{u}^T{x}^{(i)}) \\ ⟺max\sum ((x^{(i)}{)}^{T}u{u}^T{x}^{(i)}) \end{gathered}$$
进一步变换，利用$u^T{x}^{(i)}=(x^{(i)}{)}^{T}u$，
$$\begin{gathered} ⟺max\sum (((x^{(i)}{)}^{T}u)(u^T{x}^{(i)})) \\ ⟺max\sum ((u^T{x}^{(i)})((x^{(i)}{)}^{T}u)) \\ ⟺max\sum (u^T{x}^{(i)}(x^{(i)}{)}^{T}u) \\ ⟺max{u}^T\sum (x^{(i)}(x^{(i)}{)}^T)u \end{gathered}$$
最后发现这和前面方差最大的优化目标时相等价，印证了最大方差理论。