mahout的安装及实验

Apache Mahout 简介
http://www.ibm.com/developerworks/cn/java/j-mahout/

 

一.安装mahout需要的软件:

1,jdk 1.6或以上 ,下载地址不提供了。

2,maven 软件项目管理工具。下载地址:http://maven.apache.org/download.html    最新版本apache-maven-3.0.4-bin.tar.gz                

3,hadoop mahout进行计算是调用的hadoop,类似hive。hadoop的版本要高,0.20会出问题,具体要多高不知道。用1.0以上的就可以。

4,mahout http://www.apache.org/dyn/closer.cgi/mahout  我用的是0.6最新版本。

 

 

二.安装

1,jdk安装,安装步骤不介绍,设置好JAVA_HOME环境变量就可以,前面最好加export,记得source。

2,maven安装,解压maven包,设置好MAVEN_HOME和bin的PATH。不需要改什么配置文件。

3,hadoop安装,参见百度。设置好HADOOP_HOME和HADOOP_CONF_DIR ,这两个必须要设置。

4,mahout安装,解压包,设置好MAHOUT_HOME和bin的PATH,其实不设置也没关系,不过要进入bin目录才能敲命令。

 

检验安装成功。

1,敲java,javac命令,有反应就行。

2,敲mvn命令,

3,hadoop fs -put和-get操作正常,wordcout程序运行正常。

4,敲mahout命令正常

 

三.测试与实验

1,保证你的hadoop 运行正常。

2,测试数据准备wget http://archive.ics.uci.edu/ml/databases/synthetic_control/synthetic_control.data      wget不了就直接下载

3,

hadoop fs -mkdir testdata             后面的运行命令 mahout会默认找这个文件名的目录。
hadoop fs -put synthetic_control.data testdata
hadoop fs -lsr testdata

4,

hadoop集群来执行聚类算法
输入mahout命令会有列出很多算法

mahout org.apache.mahout.clustering.syntheticcontrol.canopy.Job            其输入目录默认为testdata,一下都是
mahout org.apache.mahout.clustering.syntheticcontrol.kmeans.Job
mahout org.apache.mahout.clustering.syntheticcontrol.fuzzykmeans.Job
mahout org.apache.mahout.clustering.syntheticcontrol.dirichlet.Job
mahout org.apache.mahout.clustering.syntheticcontrol.meanshift.Job

输出默认在output下(不同的算法的结果output下目录文件是不一样的,有的带有clusters0,1,2等等):

image

其中聚类结果保存在第一个文件夹中,当然,结果是Sequence File,不能直接双击打开来看。

这貌似是查看sequence file的方法,讲hadoop hdfs中的结果导入到本地a.txt,然后查看。

                                     输入目录是hdfs的路径                       输出目录是本地路径

mahout seqdumper -s output/clusters-3-final/part-r-00000 -o /home/mahout/a.txt

 或者用mahout seqdumper  --seqFile output/data/part-m-00000直接查看

参考学习网页:

canopy聚类算法:

http://www.cnblogs.com/vivounicorn/archive/2011/10/08/2201986.html  

 K-Means聚类算法:

http://www.cnblogs.com/vivounicorn/archive/2011/10/08/2201986.html

各算法中英文对照,以及在windows xp下利用Eclipse构建Mahout:

http://www.cnblogs.com/wentingtu/archive/2011/12/22/2297496.html

这个家伙正在翻译Mahout in action这本书:

http://running.iteye.com/category/144188

 

 

你可能感兴趣的:(Mahout)