Mahout基于hadoop的推荐器(Recommender)

介绍
本页主要描述,怎么在hadoop集群上运行Mahout Taste的推荐器

步骤
在那单个机器上测试
进入事例目录,执行:
mvn -q exec:java -Dexec.mainClass="org.apache.mahout.cf.taste.hadoop.pseudo.RecommenderJob" -Dexec.args="<OPTIONS>" 


在集群上运行
1.进入$MAHOUT_HOME/,编辑jar包(mvn install),将在$MAHOUT_HOME/core/target/生成,并且名称包含版本号。例如当使用Mahout 0.3 release,将生成mahout-core-0.3.jar

2.(可选)启动hadoop:
$HADOOP_HOME/bin/start-all.sh


3.上传数据
$HADOOP_HOME/bin/hadoop fs -put <PATH TO DATA> testdata

4.运行任务:
$HADOOP_HOME/bin/hadoop jar $MAHOUT_HOME/core/target/mahout-core-<MAHOUT VERSION>.job org.apache.mahout.cf.taste.hadoop.<JOB> <OPTIONS>


5.从HDFS得到输出数据,并且查看。使用
bin/hadoop fs -lsr output

查看所有的output文件

命令行选项
在命令行使用"--help" 得到完整的命令行选项摘要信息。或者在javadoc中"Job"类下查看


补充:
运行的完整例子
hadoop jar mahout-core-0.4-job.jar org.apache.mahout.cf.taste.hadoop.pseudo.RecommenderJob -i mahout-testing.txt -o out --recommenderClassName org.apache.mahout.cf.taste.impl.recommender.slopeone.SlopeOneRecommender 



原文地址:https://cwiki.apache.org/confluence/display/MAHOUT/TasteCommandLine

你可能感兴趣的:(java,apache,hadoop)