hadoop如何使用第三方依赖jar包

在hadoop环境下,我们经常会遇到执行一些脚本,然后却需要临时依赖一些jar包,比如在查看mahout运行结果的时候,如果用hadoop fs -text xxx就会遇到类似的错误信息:java.io.IOException: WritableName can't load class: org.apache.mahout.math.VectorWritable。意思就是当前环境下载classpath中没有对应的类,一般情况下可以如下解决:
1.直接用hadoop的libjars参数加载第三方jar
hadoop fs -libjars /opt/hadoop/mahout-distribution-0.9/mahout-examples-0.9.jar -text /user/mahout/popapp/temp/preparePreferenceMatrix/itemIDIndex/part-r-00000|more
2.在当前环境变量中加入HADOOP_CLASSPATH
 HADOOP_CLASSPATH=/opt/hadoop/mahout-distribution-0.9/mahout-examples-0.9.jar
hadoop fs -text /user/mahout/popapp/temp/preparePreferenceMatrix/itemIDIndex/part-r-00000|more

你可能感兴趣的:(MAHOUT,HADOOP,hadoop,MAHOUT)