K-Means算法是一种很典型的基于距离的聚类算法,采用距离作为相似性的评价标准,认为两个对象的距离越近,那么相似度就越大。把簇作为距离靠近的对象组成的,最终得到的是紧凑和独立的簇。对于聚类分析来说,用于发现数据对象之间的关系。组内的相似性越大,组间的相似性越小,可以说效果越好。K个初始类聚类中心点的选取对聚类结果具有比较大的影响。在算法的第一步中随机的选取了K个初始聚类的中心,代表了一个簇。在每次迭代的过程中,对数据集中剩余的每个对象。根据每个簇中心的距离将每个对象重新赋给最近的族。
1.首先从N个文档中选取K个文档
2.对剩余的每个文档测量其到质心的距离,并把它归到最近的质心的类。
3.重新计算已经得到的各个类的质心。
4.迭代2~3步直至新的质心与原质心相等或小于指定阈值。
输入:聚类个数k,以及包含n个数据对象的数据库。
输出:满足方差最小标准的k个聚类。
相关代码:
from numpy import *
import kMeans
def Kmeans(dataSet,k,distMeans=distEclud,createCent = randCent):
#样本数
m = shape(dataSet)[0]
#m*2的矩阵
clusterAssment = mat(zeros(m,2))
#初始化k个中心
centroids = createCent(dataSet,k)
clusterChanged = True
#当聚类不在变化
while clusterChanged:
clusterChanged = False
for i in range(m):
minDist = inf
minIndex = -1;
#找到最近的距离
for j in range(k):
distJI = distMeas(centroids[j,:],dataSet[i,:])
if distJI < minDist:
minDist = distJI
minIndex = j
if clusterAssment[i,:] != minIndex:
clusterChanged = True;
#第一列为所属质心,第二列为距离
clusterAssment[i,:] = minIndex,minDist**2;
print(centroids)
#更改质心位置
for cent in range(k):
ptsInClust = dataSet[nonzero(clusterAssment[:,0].A == cent)[0]]
centroids[cent,:] = mean(ptsInClust,axis=0)
return centroids,clusterAssment
def loadDataSet(fileName):
dataMat = []
fr = open(fileName)
for line in fr.readline():
curLine = line.strip().split('\t')
fltLine = map(float,curLine)
dataMat.append(fltLine)
def distEclud(vecA,vecB):
return sqrt(sum(power(vecA - vecB,2)))
def randCent(dataSet,k):
n = shape(dataSet)[i]
#create centroid mat
centroids = mat(zeros((k,n)))
for j in range(n):
minJ = min(dataSet[:,j])
rangeJ = float(max(dataSet[:,j]) - min)
centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))
return centroids
a = array([1,0,0],[0,1,2],[2,0,0])
print(nonzero(a))
优点在于:
1.算法快速,简单
2.对大数据集有较高的效率并且是可伸缩性的
3.时间复杂度近于线性、适合挖掘大规模数据集。
缺点在于:
1.k是要事先给定,导致非常难以估计
2.在初始聚类中心来确定一个初始划分,然后对初始划分进行优化。初始划分对结果有较大的影响。
3.不要不断的进行样本分类调整、不断的计算新的聚类中心、当数据量非常大时,算法的开销时间非常大。