Mahout架构初探及KMeans算法分布式实现的研究

转载自：http://hi.baidu.com/%B3%CF%D5%F7id/blog/item/6863de395f2f963eb8998fc3.html

1.         Mahout简介

Apache项目下的开源的基于hadoop分布式系统的数据挖掘工具，mahout源代码由maven项目管理工具管理。

2.         $MAHOUT_HOME/bin/mahout

Mahout启动的shell脚本

几个重要环境变量

JAVA_HOME    mahout运行需指定jdk的目录

MAHOUT_JAVA_HOME指定此变量可覆盖JAVA_HOME值

HADOOP_HOME  如果配置，则在hadoop分布式平台上运行，否则单机运行

HADOOP_CONF_DIR指定hadoop的配置文件目录

MAHOUT_LOCAL    如果此变量值不为空，则单机运行mahout。

MAHOUT_CONF_DIR  mahout配置文件的路径，默认值是$MAHOUT_HOME/src/conf

MAHOUT_HEAPSIZE   mahout运行时可用的最大heap大小

 

Mahout命令行：

$MAHOUT_HOME/bin/mahout $CLASS  [Generic Options] [Job-Specific Options]

Mahout脚本通过调用hadoop在分布式平台运行或调用jre在本地运行，然后调用mahout工程的总入口org.apache.mahout.driver.MahoutDriver类。

3.         Mahout总入口org.apache.mahout.driver.MahoutDriver

Mahout启动的总入口做了一下的任务：

1)         首先装载$MAHOUT_CONF_DIR目录下的一个名为driver.classes.props的资源文件(如果找不到，则寻找driver.classes.default.props文件)。

driver.classes.props文件内罗列了mahout内集成的各种工具的资源（Properties）列表，例如列举聚类的KMeans的那一行：

org.apache.mahout.clustering.kmeans.KMeansDriver = kmeans : K-means clustering

等号前面（Properties.Key）的是类名，等号后（Properties.Value）、分号前的是mahout命令行内的简写，分号后面是描述。

2)         装载driver.classes.props中的类。如果mahout命令行第一个参数不是简写，则装载以第一个参数为名的类。

3)         装载“mahout命令行中第一个参数名.props”的配置文件，该配置文件中可以指定输入输出目录等等参数。

4)         调用mahout命令行的第一个参数的类运行，并将命令行参数结合配置文件中的参数以字符的形式传递过去。

4.         Kmeans算法的分布式实现

以KMeans为例，org.apache.mahout.driver.MahoutDriver会调用org.apache.mahout.clustering.kmeans.KMeansDriver类。

KMeansDriver类继承于AbstractJob，AbstractJob继承于org.apache.hadoop.conf.Configured并同时实现了org.apache.hadoop.util.Tool接口，

KMeansDriver类提供了KMeans聚类的单机版本和分布式版本。

Main方法里调用了run(String[] args)方法，run(String[] args)方法内对命令行参数做了解析。

根据提供的参数调用单机或分布式的KMeans聚类方法，我们主要研究KMeans聚类方法的分布式算法。

在KMeansDriver类的runIteration方法中，mahout提交了一个MapReduce任务。

这段代码是：

job.setMapOutputKeyClass(Text.class);

    job.setMapOutputValueClass(ClusterObservations.class);

    job.setOutputKeyClass(Text.class);

    job.setOutputValueClass(Cluster.class);

 

    job.setInputFormatClass(SequenceFileInputFormat.class);

    job.setOutputFormatClass(SequenceFileOutputFormat.class);

    job.setMapperClass(KMeansMapper.class);

    job.setCombinerClass(KMeansCombiner.class);

    job.setReducerClass(KMeansReducer.class);

 

    FileInputFormat.addInputPath(job, input);

    FileOutputFormat.setOutputPath(job, clustersOut);

 

    job.setJarByClass(KMeansDriver.class);

 

因此对KMeans算法的分布式实现的研究，我们应主要关注Cluster、ClusterObservations、KMeansMapper、KMeansCombiner、KMeansReducer这几个类。

5.         Cluster告诉我们KMeans的cluster是如何表示的。

Cluster继承于org.apache.mahout.clustering.DistanceMeasureCluster类，后者继承于org.apache.mahout.clustering.AbstractCluster抽象类，再后者实现了org.apache.mahout.clustering. Cluster接口

总之，cluster内部有一个变量id（int类型）用于唯一的标识该聚类，numPoints（long类型）表示该聚类内部有多少个点，center（Vector类型，此Vector是数学中的N维向量，也可理解为N维点，非java.util.Vector）表示聚类中心点，radius（Vector类型）表示半径，还有聚合标志位converged（boolean类型）

6.         ClusterObservations类

跟Kmeans分布式算法有关，ClusterObservations有s0(double，点数目增量),s1(Vector，用于计算中心点增量),s2(Vector，用于计算半径增量)

7.         KMeansMapper

Map过程，输入的key，value =WritableComparable key, VectorWritablepoint

计算每个point表示的点与每个cluster中心center距离，并将改点加入距离最近的cluster中，并计算该cluster的三个增量。

context.write(new Text(nearestCluster.getIdentifier()), new ClusterObservations(1, point, point.times(point)));

输出的key，value = Text, ClusterObservations，key是cluster的id，value是cluster的三个增量（点数目，中心点增量，半径增量）

8.         KMeansCombiner

在Map阶段运行结束后，为了减少到Reduce阶段的网络数据输出，mahout对于同一个节点上Map阶段的输出进行合并，把多个相同的key的value合并成一个。

由于KMeans算法是线性的，因此在此阶段可将Map阶段输出相同key的多个合并成一个总增量>

9.         KMeansReducer

Kmeans算法中，有几个cluster聚集就有几个Reducer任务。Reducer任务中，对每个cluster将Map阶段所有的增量计算，重新计算每个cluster的点数，中心点和半径，以及聚合度。