文本聚类算法 python_文本聚类算法之K-means算法的python实现

一、算法简介

算法接受参数k，然后将事先输入的n个数据对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度较高；而不同聚类中的对象相似度较小。聚类相似度是利用各聚类中对象的均值所获得的一个“中心对象”来进行计算的。

基本思想：以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。

算法描述：

(1)适当选择c个类的初始中心

(2)在第k次迭代中，对任意一个样本，求其到c个中心的距离，将该样本归到距离最短的中心所在的类。

(3)利用均值等方法更新该类的中心值。

(4)对于所有的c个聚类中心，如果利用(2)(3)的迭代法更新后，值保持不变，则迭代结束，否则继续迭代。

该算法的最大优势在于简洁和快速。算法的关键在于初始中心的选择和距离公式。

二、实验

实验数据集来自于网上，数据文件testSet.txt 中的内容如下：

1.658985 4.285136

-3.453687 3.424321

4.838138 -1.151539

-5.379713 -3.362104

0.972564 2.924086

-3.567919 1.531611

0.450614 -3.302219

-3.487105 -1.724432

2.668759 1.594842

-3.156485 3.191137

3.165506 -3.999838

-2.786837 -3.099354

4.208187 2.984927

-2.123337 2.943366

0.704199 -0.479481

-0.392370 -3.963704

2.831667 1.574018

-0.790153 3.343144

2.943496 -3.357075

-3.195883 -2.283926

2.336445 2.875106

-1.786345 2.554248

2.190101 -1.906020

-3.403367 -2.778288

1.778124 3.880832

-1.688346 2.230267

2.592976 -2.054368

-4.007257 -3.207066

2.257734 3.387564

-2.679011 0.785119

0.939512 -4.023563

-3.674424 -2.261084

2.046259 2.735279

-3.189470 1.780269

4.372646 -0.822248

-2.579316 -3.497576

1.889034 5.190400

-0.798747 2.185588

2.836520 -2.658556

-3.837877 -3.253815

2.096701 3.886007

-2.709034 2.923887

3.367037 -3.184789

-2.121479 -4.232586

2.329546 3.179764

-3.284816 3.273099

3.091414 -3.815232

-3.762093 -2.432191

3.542056 2.778832

-1.736822 4.241041

2.127073 -2.983680

-4.323818 -3.938116

3.792121 5.135768

-4.786473 3.358547

2.624081 -3.260715

-4.009299 -2.978115

2.493525 1.963710

-2.513661 2.642162

1.864375 -3.176309

-3.171184 -3.572452

2.894220 2.489128

-2.562539 2.884438

3.491078 -3.947487

-2.565729 -2.012114

3.332948 3.983102

-1.616805 3.573188

2.280615 -2.559444

-2.651229 -3.103198

2.321395 3.154987

-1.685703 2.939697

3.031012 -3.620252

-4.599622 -2.185829

4.196223 1.126677

-2.133863 3.093686

4.668892 -2.562705

-2.793241 -2.149706

2.884105 3.043438

-2.967647 2.848696

4.479332 -1.764772

-4.905566 -2.911070

初始设置了k=4个质心

python代码如下：

# coding=utf-8

from numpy import *

from numpy.random.mtrand import power

def loadDataSet(fileName): # 文件的导入

dataMat = []

fr = open(fileName)

for line in fr.readlines():

curLine = line.strip().split('\t') # strip()删除开头和结尾的空白符(包括'\n', '\r', '\t', ' ')

fltLine = map(float, curLine) # map对curLine列表使用float函数，float将整数和字符串转换成浮点数

dataMat.append(fltLine)

return dataMat

# 计算两个向量的距离，用的是欧几里的距离

def distEclud(vecA, vecB): # 计算欧式距离

# vecA,vecB都是numpy的matrix类型

vecC = vecA - vecB

# 对每个元素求平方

vecC = multiply(vecC, vecC)

row = shape(vecC)[0] # 行数

col = shape(vecC)[1] # 列数

result = 0

for i in range(row):

for j in range(col):

result += vecC[i, j]

return sqrt(result)

def randCent(dataSet, k): # 构建一个包含k个随机质心的集合

n = shape(dataSet)[1] # 读取dataSet的列数，2列

centroids = mat(zeros((k, n))) # k*2

for j in range(n): # 对每一列

minJ = min(dataSet[:, j]) # dataSet[:, j] 取所有数据的第j列 min()返回最小值

rangeJ = float(max(dataSet[:, j]) - minJ)

centroids[:, j] = minJ + rangeJ * random.rand(k, 1)

return centroids # 共k行，两列，每行是每个质心的x,y

def kMeans(dataSet, k, distMeas = distEclud, createCent=randCent):

m = shape(dataSet)[0] # 读取dataSet的行数，即一共多少个点

clusterAssment = mat(zeros((m, 2))) # 记录每个点前一次离哪个质心最近，第1列是质心的下标，第2列是最小距离的平方

centroids = createCent(dataSet, k) # 构建一个随机取的k个质心的集合

clusterChanged = True # 标记簇是否改变了，是否已收敛

while clusterChanged:

clusterChanged = False

for i in range(m): # 总数据中给的每个点

minDist = inf # 正无穷

minIndex = -1

for j in range(k): # 每个质点

distJI = distMeas(centroids[j, :], dataSet[i, :]) # 计算每个点到每个质心的欧式距离

if distJI < minDist: # 记录该点到哪个质心的距离最近

minDist = distJI

minIndex = j

if clusterAssment[i, 0] != minIndex:

clusterChanged = True

clusterAssment[i, :] = minIndex, minDist**2

# print centroids

for cent in range(k):

ptsInClust = dataSet[nonzero(clusterAssment[:, 0].A == cent)[0]]

centroids[cent, :] = mean(ptsInClust, axis=0)

return centroids, clusterAssment

# 可视化展示

def show(dataSet, k, centroids, clusterAssment):

from matplotlib import pyplot as plt

numSamples, dim = dataSet.shape # 求行数和列数

mark = ['or', 'ob', 'og', 'ok', '^r', '+r', 'sr', 'dr', '

for i in xrange(numSamples): # 使用range生成的是一个列表，xrange生成的是一个生成器，每次调用的时候才取出来

markIndex = int(clusterAssment[i, 0])

plt.plot(dataSet[i, 0], dataSet[i, 1], mark[markIndex])

mark = ['Dr', 'Db', 'Dg', 'Dk', '^b', '+b', 'sb', 'db', '

for i in range(k):

plt.plot(centroids[i, 0], centroids[i, 1], mark[i], markersize = 12)

plt.show()

dataMat = mat(loadDataSet('testSet.txt'))

myCentroids, clusterAssing = kMeans(dataMat, 6)

# myCentroids是k=4个质心的信息，x,y值

# 记录每个点前一次离哪个质心最近，第1列是质心的下标，第2列是最小距离的平方

show(dataMat, 4, myCentroids, clusterAssing)

# 画图展示

画出的图如下所示：