机器学习-PCA与聚类算法

1. 主成分分析(Principal Components Analysis)

• 1.1 原理
  PCA是一种降维算法，通过最大化样本集在某一个方向投影值的平方和，来找到主轴方向，主轴是对称方阵$\frac{1}{m}{\sum }_{i=1}^k{x}^{(i)}(x^{(i)}{)}^T$的特征向量方向，取前k个最大投影值平方和所对应的特征向量作为新的坐标轴，各个样本在单位特征向量方向上的投影作为新的值。

• 1.2 具体步骤
  （1） 样本$x^{(i)}$在单位向量$u$方向的投影值为$(x^{(i)}{)}^{T}u$
  （2）最大化带约束条件的投影值平方和
  $$\begin{gathered} max:u^T(\frac{1}{m}\sum _{i=1}^k{x}^{(i)}(x^{(i)}{)}^T)u \\ subjectto:u^{T}u=1 \end{gathered}$$
  （3）利用拉格朗日乘法求解得到$u$是对称方阵$\frac{1}{m}{\sum }_{i=1}^k{x}^{(i)}(x^{(i)}{)}^T$的特征向量
  （4）利用矩阵的方法求出对称方阵的n个单位特征向量, 根据投影值的平方和的大小，选出前k个最大的投影值对应的单位特征向量$u_1...u_k$，此k个方向即为新的坐标轴
  （5）将样本集转换为新坐标轴下的值
  $$y^{(}i)=\left[\begin{array}{c}(x^{(i)}{)}^T{u}_1\\ x^{(i)}{)}^T{u}_2\\ .\\ .\\ x^{(i)}{)}^T{u}_k\end{array}\right]$$

2. 聚类算法

聚类算法主要包含划分聚类、层次聚类、密度聚类、网格聚类、模型聚类，目前只学习了$k-means$与基于$EM$算法的高斯混合模型(GMM)