python中dbscan和kmeans_聚类——K-Means与DBSCAN原理和应用（附Python代码）
1 K-Means原理
K-Means算法是一种基于距离的聚类算法，K-Means算法的思想很简单，对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇。让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。假设有训练样本
，每个
，但没有类标签
，K-Means算法描述如下：
K-Means算法描述
2 K-Means中 K值的选择
“手肘法”是利用误差平方和(sum of the squared errors，SSE)的变化趋势来作为选择K值的指标。
其中
是第i个簇，p是
中的样本点，
是
的质心，SSE是所有样本的聚类误差，可以表示聚类效果的好坏。举一个例子：
# 手肘法选择K值
# 生成随机点数据
X, y = make_blobs(n_samples=400, centers=4, random_state=23, cluster_std=0.8)
SSE = [] #存放每次的误差平方和
for k in range(1,9):
estimator = KMeans(n_clusters=k)
estimator.fit(X)
SSE.append(estimator.inertia_)
x = range(1,9)
plt.figure(figsize=(5,5))
plt.xlabel('k')
plt.ylabel('SSE')
plt.plot(x,SSE,'o-')
plt.show()“手肘法”例子
随着聚类数K的增大，样本划分会更加精细，每个簇的聚合程度会逐渐提高，那么误差平方和SSE自然会逐渐变小。并且，当K小于真实聚类数时，由于K的增大会大幅增加每个簇的聚合程度，故SSE的下降幅度会很大，而当K到达真实聚类数时，再增加K所得到的聚合程度回报会迅速变小，所以SSE的下降幅度会骤减，然后随着K值的继续增大而趋于平缓，也就是说SSE和K的关系图是一个手肘的形状，这也是该方法被称为手肘法的原因，而这个肘部对应的K值就是数据的真实聚类数，这里可以看出K等于4的时候最好。聚类效果如下：
3 DBSCAN原理
基于距离的聚类算法比如K-Means有一个缺陷，就是对噪声特别敏感，而且往往聚类簇的形状是球状簇。而DBSCAN(Density-Based Spatial Clustering of Application with Noise)算法是一种基于密度的算法，它可以发现任意形状的聚类，这对于带有噪音点的数据起着重要的作用。
该算法涉及以下几个概念： -邻域：对
其
-邻域，包含样本集D中与
的距离不大于
的样本，即
。
核心对象：若
的
-邻域至少包括MinPts个样本，即
，则
为一个核心对象。
密度直达：若
位于
的
-邻域中，且
是核心对象，则称
由
密度直达。
密度可达：对
与
若存在样本序列
，其中
且
由
密度直达，则称
由
密度可达。
密度相连：对
与
若存在
使得
与
，均由
密度可达，则称
由
密度相连。
基于这些概念，DBSCAN将“簇”定义为：由密度可达关系导出的最大的密度相连的样本集合。形式化地说，给定邻域参数
，簇
是满足以下性质的非空样本集：连接性：
由
密度相连。
最大性：
，
由
密度可达
。
4 二维数据聚类
4.1 K-means聚类实例
实验中，采用随机函数生成了4簇高斯样本点，共400个，样本中心分别为[-7,-2.5],[-8,5],[0,7],[5,0]，使用K-Means进行聚类，当数据标准差为0.8时，得到的结果如图1所示，聚类评价如表1所示，聚类评价如表1。图1 样本点标准差为0.8的聚类效果图
表1 样本点标准差为0.8的聚类评价
Python代码：
centers = np.array([[-7,-2.5],[-8,5],[0,7],[5,0]])
X, y = make_blobs(n_samples=400, centers=centers, random_state=23, cluster_std=0.8)
estimator = KMeans(init='random',n_clusters=4, algorithm='full')
y_pred = estimator.fit_predict(X)
clusters_centers = estimator.cluster_centers_
# 校正标签
y_pred = unify_label(clusters_centers, centers, centers.shape[0], y_pred)
performance_evaluation(X, y, y_pred)
plt.figure(figsize=(10,5))
plt.subplot(121)
plt.scatter(X[:, 0], X[:, 1], s=20, c=y, marker='o')
plt.title("origin clusters (cluster_std:{})".format(str(cluster_std)))
plt.subplot(122)
plt.scatter(X[:, 0], X[:, 1], s=20, c=y_pred, marker='o')
plt.scatter(clusters_centers[:, 0], clusters_centers[:, 1], s=90, c='r', marker='*')
plt.title("KMeans clusters")
plt.show()
4.2 噪声对聚类的影响
K-Means一个很大的缺陷就是对噪声或者离群点比较敏感，它无法区分出哪些是噪声或者离群点，只能给每一个数据点都判断出一个类别来，这样就会导致样本质心偏移，导致误判或者聚类紧密程度降低。于是本小节实验中，在标准差为1的4簇高斯样本点(400个)中添加了20个噪声点。实验对比了有噪声和无噪声情况下聚类结果，结果如图2所示，聚类评价如表2所示。图2 有、无噪声点下聚类效果图
表2 有、无噪声下的聚类评价
DBSCAN是一种基于密度的算法，它能够将噪声点找出来，所以在抗干扰能力上具有一定优势，其聚类结果如图3所示，其中紫色的点被标为噪声点：图3 噪声情况下DBSCAN分类效果图
小结：结果很明显，加了噪声以后，噪声点也被加上了标签，导致聚类评价下降。一方面表现在，噪声点的标签是错的，另一方面表现在现有簇的紧密程度很低，这也是聚类效果不好的一种表现。DBSCAN由于其基于密度的算法的优势，对于噪声点不那么敏感。
Python代码：
# 生成随机点数据
centers = np.array([[-7,-2.5],[-8,5],[0,7],[5,0]])
X, y = make_blobs(n_samples=400, centers=4, random_state=23, cluster_std=1)
# 聚类
estimator = KMeans(init='random',n_clusters=4, algorithm='full')
y_pred = estimator.fit_predict(X)
clusters_centers = estimator.cluster_centers_
# 校正标签
y_pred = unify_label(clusters_centers, centers, centers.shape[0], y_pred)
# 评估
performance_evaluation(X, y, y_pred)
plt.figure(figsize=(15,5))
plt.subplot(131)
plt.scatter(X[:, 0], X[:, 1], s=20, c=y_pred, marker='o')
plt.scatter(clusters_centers[:, 0], clusters_centers[:, 1], s=90, c='r', marker='*')
plt.title("clusters without noise")
# 生成[-5,10)的随机噪声点
noise = 15*np.random.random_sample((20,2))-5
noise_class = np.random.randint(4, size=20)
# 合并数据
X = np.r_[X, noise]
y = np.r_[y, noise_class]
# 聚类
estimator = KMeans(init='random',n_clusters=4, algorithm='full')
y_pred = estimator.fit_predict(X)
clusters_centers = estimator.cluster_centers_
# 校正标签
y_pred = unify_label(clusters_centers, centers, centers.shape[0], y_pred)
# 评估
performance_evaluation(X, y, y_pred)
plt.subplot(132)
plt.scatter(X[:, 0], X[:, 1], s=20, c=y_pred, marker='o')
#plt.scatter(noise[:, 0], noise[:, 1], s=10, c='k', marker='s')
plt.scatter(clusters_centers[:, 0], clusters_centers[:, 1], s=90, c='r', marker='*')
plt.title("clusters with noise")
# DBSCAN算法
X = StandardScaler().fit_transform(X)
db = DBSCAN(eps=0.2).fit(X)
core_samples_mask = np.zeros_like(db.labels_, dtype=bool)
core_samples_mask[db.core_sample_indices_] = True
labels = db.labels_
plt.subplot(133)
plt.scatter(X[:, 0], X[:, 1], s=20, c=labels, marker='o')
plt.title("DBSCAN clusters")
plt.show()
4.3 样本点形状对聚类的影响
K-Means算法对于凸性数据具有良好的效果，能够根据距离来讲数据分为球状类的簇，但对于非凸形状的数据点，就无能为力了，比如环形数据等等，此时基于密度的算法DBSCAN就更令人满意了。图4和图5两个例子。图4 月形数据聚类
图5 环形数据聚类
Python代码：
# 生成月亮形状的随机点数据
X, y = make_moons(n_samples=400, noise=0.05, random_state=23)
# 生成圆形的随机点数据
#X, y = make_circles(n_samples=400, noise=0.05, factor=0.5, random_state=23
# 聚类
estimator = KMeans(init='random',n_clusters=2, algorithm='full')
y_pred = estimator.fit_predict(X)
clusters_centers = estimator.cluster_centers_
plt.figure(figsize=(10,5))
plt.subplot(121)
plt.scatter(X[:, 0], X[:, 1], s=20, c=y_pred, marker='o')
plt.title("k-means clusters")
X = StandardScaler().fit_transform(X)
db = DBSCAN().fit(X)
core_samples_mask = np.zeros_like(db.labels_, dtype=bool)
core_samples_mask[db.core_sample_indices_] = True
labels = db.labels_
plt.subplot(122)
plt.scatter(X[:, 0], X[:, 1], s=20, c=labels, marker='o')
plt.title("DBSCAN clusters")
plt.show()
5 图像分割
图像分割是图像处理中的一种方法，图像分割是指将一幅图像分解成若干互不相交区域的集合，其实质可以看成是一种像素的聚类过程。
本实验将图A作为研究对象，在不同的K值下，使用K-Means进行聚类分析。每次聚类以后，都将同一类别下的像素点的RGB值设为该类质心取整后的值，图B-E分别展示了K=2,4,8,12时的聚类效果图。图A 原始图像
图B K=2的聚类图像
图C K=4的聚类图像
图D K=8的聚类图像
图E K=12的聚类图像
小结：随着K值的增大，图像分类越来越细致，值得注意的是，图片中左边女孩衣服上的口袋轮廓，直到K=12以后才比较明显。另外，对色彩的表达也更接近原图，但在处理阴影渐变的位置时就不那么精准了，比如女孩裙子下摆的位置等。
Python代码：
# RGB图像聚类
data, row, col = load_data("k-on.jpg")
for k in range(2,15):
t0 = time()
estimator = KMeans(n_clusters=k)
label = estimator.fit_predict(data)
centroids = estimator.cluster_centers_.astype('int')
pic_new = Image.new("RGB",(row, col))
for i in range(row):
for j in range(col):
# 像素点RGB设为质心
pic_new.putpixel((i, j), tuple(centroids[label[col*i+j]]))
print('K-Means: K = {} time: {}s'.format(k, (time()-t0)))
pic_new.save('kmeans_k_{}.jpg'.format(k))
display(Image.open('kmeans_k_{}.jpg'.format(k)))
参考
[1] 李航 《统计学习方法》