机器学习 【降维PCA算法】 公式推导计算+详细过程 （入门必备）

PCA算法

• PCA算法：主成分分析是一种非监督的降维方法，降维可以做特征筛选，降低训练复杂度。

• 在信号学里，信噪比越大，说明数据质量越好。其中信号有较大的方差，噪声有较小的方差。

• PCA正好可以借鉴信噪比这一理论，让数据在主轴上的投影方差最大。

方差公式

$$V(x)=\frac{1}{m}\sum _{i=1}^m(x_i-\overline{x}{)}^2$$

PCA推导

• 求方差最大化，可以令$\overline{x}=0$

$$V(x)=\frac{1}{m}\sum _{i=1}^m{x}_i^2$$

• 将所有样本映射到主轴$w=(w_1,w_2)$，使$V$最大,即

$$V(x)=\frac{1}{m}\sum _{i=1}^m||x^i|{|}^2$$

• 样本点$ X^i = (X^{i}_1, X^{i}_2) $到主轴$ w = (w_1, w_2) $的距离表示

$$X^{i}w=||X^i||\ast ||w||\ast cos\theta$$

$$X^{i}w=||X^i||$$

** 损失函数 **

$$maxV(x)=\frac{1}{m}\sum _{i=1}^m（X^{i}w{）}^2$$

$$maxV(x)=\frac{1}{m}\sum _{i=1}^m（X_1^i{w}_1+X_2^i{w}_2+X_3^i{w}_3+\dots +X_n^i{w}_n{）}^2$$

$$maxV(x)=\frac{1}{m}\sum _{i=1}^m（\sum _{j=1}^n{X}_j^i{w}_j{）}^2$$

梯度上升法求最优解

对损失函数求导

$$\frac{\partial V(x)}{\partial w_j}=\frac{2}{m}(Xw{)}^{T}X$$

$$=\frac{2}{m}{X}^T（Xw)$$