[机器学习] 聚类算法

初识聚类算法

聚类算法
一种典型的无监督学习算法，主要用于将相似的样本自动归到-一个类别中。
在聚类算法中根据样本之间的相似性，将样本划分到不同的类别中，对于不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。

聚类算法与分类算法的区别
聚类算法是无监督的学习算法，分类算法属于监督的学习算法。

聚类算法api初步

import matplotlib.pyplot as plt
from sklearn.datasets.samples_generator import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import calinski_harabaz_score
x, y = make_blobs(n_samples=1000, n_features=2, centers=[[-1,-1],[0,0],[1,1],[2,2]], cluster_std=[0.4,0.2,0.2,0.2], random_state=9)
plt.scatter(x[:, 0], x[:, 1], marker="o")
plt.show()
# kmeans训练，且可视化. 聚类=2
y_pre = KMeans(n_clusters=2, random_state=9).fit_predict(x)
plt.scatter(x[:,0],x[:,1],c=y_pre)
plt.show()
# 用ch_score查看效果
print(calinski_harabaz_score(x, y_pre))

聚类算法实现流程

K-means聚类算法实现流程
1.随机设置K个特征空间内的点作为初始的聚类中心
2、对于其他每个点计算到K个中心的距离，未知的点选择最近的一个聚类中心点作为标记类别
3.接着对着标记的聚类中心之后，重新计算出每个聚类的新中心点(平均值)
4、如果计算得出的新中心点与原中心点-样(质心不再移动)，那么结束，否则重新进行第二步过程

特征降维

降维是指在某些限定条件下，降低随机变量(特征)个数,得到一组“不相关”主变量的过程

降维的两种方式

1、特征选择
数据中包含冗余或无关变量(或称特征、属性、指标等), 旨在从原有特征中找出主要特征。

2、主成分分析
高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量
●作用:是数据维数压缩，尽可能降低原数据的维数(复杂度)，损失少量信息。
●应用:回归分析或者聚类分析当中