聚类算法是无监督学习算法,指定将数据分成k个簇。然后通过每个点到各个簇的中心的欧氏距离来分类。
kmeans本身会陷入局部最小值的状况,二分kmeans可以解决这一点。
二分kmeans是遍历所有的簇,将其分成2个,比较哪一个分裂结果更好,用距离和来代表误差
例如现在只有一个簇A,第一轮分裂成A,A1,下一次比较A,A1两个分裂的结果哪个更换,比如A1更好,所以分裂结果为A,A1,A11。
from __future__ import print_function
from numpy import *
# 从文本中构建矩阵,加载文本文件,然后处理
def loadDataSet(fileName): # 通用函数,用来解析以 tab 键分隔的 floats(浮点数)
dataSet = []
fr = open(fileName)
for line in fr.readlines():
curLine = line.strip().split('\t')
fltLine = map(float, curLine) # 映射所有的元素为 float(浮点数)类型
dataSet.append(fltLine)
return dataSet
# 计算两个向量的欧式距离(可根据场景选择)
def distEclud(vecA,vecB):
return sqrt(sum(power(vecA-vecB,2))) # la.norm(vecA-vecB)
# 为给定数据集构建一个包含 k 个随机质心的集合。随机质心必须要在整个数据集的边界之内,这可以通过找到数据集每一维的最小和最大值来完成。然后生成 0~1.0 之间的随机数并通过取值范围和最小值,以便确保随机点在数据的边界之内。
def randCent(dataMat,k):
n=shape(dataMat)[1] # 列的数量
centroids=mat(zeros((k,n))) # 创建k个质心矩阵
for j in range(n): # 创建随机簇质心,并且在每一维的边界内
minJ=min(dataMat[:,j]) # 最小值
rangeJ=float(max(dataMat[:,j])-minJ) # 范围=最大值-最小值
centroids[:,j]=mat(minJ+rangeJ*random.rand(k,1)) # 随机生成
return centroids
# k-means 聚类算法
# 该算法会创建k个质心,然后将每个点分配到最近的质心,再重新计算质心。
# 这个过程重复数次,知道数据点的簇分配结果不再改变位置。
# 运行结果(多次运行结果可能会不一样,可以试试,原因为随机质心的影响,但总的结果是对的, 因为数据足够相似,也可能会陷入局部最小值)
def KMeans(dataMat,k,distMeas=distEclud,createCent=randCent):
m=shape(dataMat)[0] # 行数
clusterAssment=mat(zeros((m,2))) # 创建一个与dataMat 行数一样,但是有两列的矩阵,用来保存簇分配结果
centroids=createCent(dataMat,k) # 创建质心,随机k个质心
clusterChanged=True
while clusterChanged:
clusterChanged=False
for i in range(m): # 循环每一个数据点并分配到最近的质心中去
minDist=inf
minIndex=-1
for j in range(k):
distJI=distMeas(centroids[j,:],dataMat[i,:]) # 计算数据点到质心的距离
if distJI
# 测试基础的函数
testBasicFunc()
# 测试 kMeans 函数
testKMeans()
# 测试二分 biKMeans 函数
testBiKMeans()