评价聚类结果之entropy（熵值）和purity（纯度）

使用k-means算法对数据进行聚类之后，通常需要验证一下聚类的效果。常用的验证方法包括entropy、purity、precious、F-measure、Recall，本文只介绍entropy和purity算法。

Entropy：

对于一个聚类i，首先计算。指的是聚类 i 中的成员（member）属于类（class）j 的概率，。其中是在聚类 i 中所有成员的个数，是聚类 i 中的成员属于类 j 的个数。每个聚类的entropy可以表示为，其中L是类（class）的个数。整个聚类划分的entropy为，其中K是聚类（cluster）的数目，m是整个聚类划分所涉及到的成员个数。

Purity：

使用上述Entropy中的定义，我们将聚类 i 的purity定义为。整个聚类划分的purity为，其中K是聚类（cluster）的数目，m是整个聚类划分所涉及到的成员个数。

下表是对取自洛杉矶时报的3204篇文章进行的k-means划分的结果，共分为6个cluster。这些文章取自娱乐、金融等六个类别。理想情况下每个cluster只含有某一特定类别的文章。其中，cluster 3 与体育类别吻合的比较好，所以其entropy很低，purity很高。

entropy和purity的核心代码（Python version）如下：

e_i = [0 for x in range(0,6)]
p_i = [0 for x in range(0,6)]
for i in range(0,cluster_num):
	wr_line_part = ","
	for j in range(0,6):
		wr_line_part += str(M_aggregate[i][j]) + ','
		p_i_j = M_aggregate[i][j]*1.0/m_i[i]  + 0.00000001
		print (p_i_j)
		e_i[i] += 0 - p_i_j*math.log2(p_i_j)
		if (p_i[i] < p_i_j):
			p_i[i] = p_i_j
	print (e_i[i])
	print (p_i[i])
	
e = 0
p = 0			
for i in range(0,6):
	e += m_i[i]/m*e_i[i]
	p += m_i[i]/m*p_i[i]