机器学习—聚类和降维

无监督学习 — 聚类和降维

往期内容

1. 单变量线性回归
2. 多变量线性回归
3. 逻辑回归
4. 正则化
5. BP神经网络
6. 机器学习诊断法

聚类

k均值算法

  K-均值是最普及的聚类算法，算法接受一个未标记的数据集，然后将数据聚类成不同的组。算法步骤总结如下：
  ① 随机选择K个点作为聚类中心（cluster centroids)
  ② 对于数据集中的每一个数据，按照距离个中心点的距离，将其与距离最近的中心点关联起来，与同一个中心点关联的所有点聚成一类
  ③ 计算每一组的平均值，将该组的聚类中心移动到平均位置
  ④ 重复②③步骤，直至中心点不再变化
  K-均值的代价函数（又称畸变函数 Distortion function） 如下：
$$J(c^{(1)},...,c^{(m)},{\mu }_1,...,{\mu }_k)=\frac{1}{m}\sum _{i=1}^m||X^{(i)}-{\mu }_{c(i)}|{|}^2$$
其中${\mu }_1,{\mu }_2,...,{\mu }_k$表示聚类中心，$c^{(1)},c^{(2)},...,c^{(m)}$储存$x^{(i)}$最近的聚类中心索引，${\mu }_{c(i)}$是$x^{(i)}$最近的聚类中心点。

聚类中心选择

  在进行k均值算法前，需要随机初始化聚类中心。K值通常会根据问题随机选择，但是这里有一个肘部法则可以帮助我们选择聚类中心的数目。

肘部法则：以畸变函数值J为纵坐标，以聚类数目K为横坐标，即不断改变聚类中心的数目计算其代价函数值，然后绘图如下：

可以看出，随着聚类中心数目的增加，畸变函数值刚开始下降得很快，但$K=3$之后就下降得很慢，所以这里选择聚类数目$K=3$。

降维

  降维的目的通常有两个：① 数据压缩；② 数据可视化。主成分分析（Principal Component Analysis, PCA） 是常见的降维算法。

主成分分析

  主成分分析算法步骤：

1. 均值归一化： 令$x_j=x_j-{\mu }_j$，如果特征在不同数量级上，还需要将其初一标准差${\sigma }^2$
2. 计算协方差矩阵（covariance matrix）:$\Sigma =\frac{1}{m}{\sum }_{i=1}^n(x^{(i)})(x^{(i)}{)}^T$
3. 计算协方差矩阵的特征向量U：如果我们希望将数据从n维降到k维，那么我们只需要从U中选取前k个向量，获得一个$n\times k$的矩阵，用U_reduce 表示
4. 计算$z^{(i)}=U_{reduce}^T\ast x^{(i)}$得到我们降维后的新特征向量$z^{(i)}$

  注意： ① 一般不使用主成分分析（减少特征数量）来减少模型的过拟合程度。主成分分析在使用过程中可能会丢掉数据的重要特征。
      ② 一般算法运行太慢或者占用太多内存时，才考虑采用主要成分分析对数据进行降维。