Mahout kmeans聚类

Mahout  K-means聚类

一、Kmeans 聚类原理

K-means算法是最为经典的基于划分的聚类方法，是十大经典数据挖掘算法之一。K-means算法的基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。

假设要把样本集分为c个类别，算法描述如下：

（1）适当选择c个类的初始中心；

（2）在第k次迭代中，对任意一个样本，求其到c各中心的距离，将该样本归到距离最短的中心所在的类；

（3）利用均值等方法更新该类的中心值；

（4）对于所有的c个聚类中心，如果利用（2）（3）的迭代法更新后，值保持不变，则迭代结束，否则继续迭代。

该算法的最大优势在于简洁和快速。算法的关键在于初始中心的选择和距离公式

二、Mahout kmeans实现

 Mahout kmeans MapReduce实现的原理和上述的一致，值得注意的是，Mahout将数据存储在HDFS，用MapReduce做批量并行的计算。在做kmeans之前，需要将文本用Mahout向量化模块工具做向量化。计算过程主要分为三个步骤：初始中心选取，寻找簇中心，划分数据。

（一） 簇定义

簇Cluster是一个实体，保存该簇的关键信息。

 privateint id; 簇编号

核心参数：计算完数据后最终的簇属性

 private long numPoints; 簇中点的个数

 private Vector center; 中心向量 center=

 private Vector radius; 半径向量 radius =

调整参数：簇中加入一个点后调整的参数

 private double s0; s0= 权重和。对于Kmeans，w=1 ,所有s0=numPoints

 private Vector s1;  s1=  x 为point，w为权重。对kmeansw =1

 private Vector s2 ;  s2= x 为point，w为权重。对kmeansw =1

（二） 初始中心点选择

（1）RandomSeedGenerator 将输入的向量随机选择K个输出到HDFS作为Kmeans 聚类的初始中心点。

（2）另一种将Canopy计算出的簇中心作为kmeans聚类的初始中心点。

（三） 迭代更新中心

  通过不断的迭代，移动簇中心。该过程划分为两个部分，一个是簇划分Job，一个是控制迭代循环。

1.簇划分Job过程：

      Map:

Collection<Cluster> clusters = newArrayList<Cluster>()

setUp(){

                     读入上一次输出的全部中心点，填充cluster。

}

Map(WritableComparable<?> key, VectorWritable point){

用KMeansClustererclusterer 将point 划分到cluster中距离最近的一个cluster中。

输出: key  clusterID ，value  ClusterObservations

}

}

  Combiner:

    Reduce（key clusterID ，value  Iterator<ClusterObservations> it ）{

             计算同一个cluster的局部参数。

    }

   Reduce:

     Reduce(key  clusterID ，value  ClusterObservations){

计算同一cluster的全局参数。

计算cluster的新中心。

对比之前的中心，计算是否收敛。

替换新的中心点作为cluster的中心。

输出 keyclusterID，value Cluster

}

2.循环过程

 while(!收敛||没有达到相应的迭代次数){

     1.执行迭代Job，输入全部数据，输出新的簇中心；

     2.判断是否有簇没有收敛。只要有一个簇没有收敛，则断定为全局不收敛。

 }

（四） 划分数据

  划分数据过程是对简单的，只需要计算向量和所有簇的距离，将其划分到距离最小的一个簇中。由一个map完成。

Map:

Collection<Cluster> clusters = new ArrayList<Cluster>()

setUp(){

读取最终收敛的簇，填充clusters。

}

Map(WritableComparable<?> key, VectorWritable point){

   Double min = 0 ;

   String clusterID ;

       While(cluster :clusters){

      计算min;

      得到最小距离的clusterID;

      }

       输出：clusterID ,point

     }

三、API说明

API

KMeansDriver.main(args);
--input(-i)	输入路径
--outpu(-o)	输出路径
--distanceMeasure(-dm)	距离类权限命名，如“org.apache.mahout.common.distance.Cosine DistanceMeasure”
--clusters(-c)	中心点存储路径，如果该路径下没有中心点，则随机生成并写入该目录
--numClusters(-k)	簇个数
--convergenceDelta(-cd)	收敛值
--maxIter(-x)	最大迭代次数
--overwrite(-ow)	是否覆盖上次操作
--clustering(-cl)	是否执行聚类
--method(-xm)	默认”mapreduce”,或”sequential”

 

示例

String  [] arg=           {"-x","10",                                           "-c","kmeans_center",                                           "-i","vector\tfidf-vectors",                                           "-o","kmeans",                         "-dm","org.apache.mahout.common.distance.   EuclideanDistanceMeasure",                                           "-k","3",                                           "-cd","0.01",                                           "-ow",                                           "-cl",                                           "-xm","mapreduce"};               KMeansDriver.main(arg);

 

输出

结果文件	Key类型	Value类型	说明
clusters-*	类id (org.apache.hadoop.io.Text)	类中心 (org.apache.mahout. clustering.kmeans.Cluster)	每条记录以类id和类中心表示一个类别
clusteredPoints	类id (org.apache.hadoop.io.IntWritable)	文档向量 (org.apache. mahout.clustering.WeightedVectorWritable)	每条记录中，文档向量代表文档，类id代表该文档所属类别

注:clusters-*中*代表数字，第i次迭代产生的类信息即为clusters-i

四、参考文献

 1.《web数据挖掘》