No job jar file set. User classes may not be found. See Job or Job#setJar(String)

软件版本:hadoop2.2 ,eclipse4.5 ,jdk1.7

问题描述:在进行Java程序调用Hadoop集群时,使用下面的代码时,运行会给出如题所示提示

job.setJarByClass(SampleJob.class);
可是明明是设置了JarByClass为什么提示没有设置呢?

预备知识:

1. java调用Hadoop的时候,直接配置Configuration即可直接调用hadoop,运行job,如下:

 conf.setBoolean("mapreduce.app-submission.cross-platform", true);// 配置使用跨平台提交任务
			conf.set("fs.defaultFS", "hdfs://"+namenode+":8020");// 指定namenode
			conf.set("mapreduce.framework.name", "yarn"); // 指定使用yarn框架
			conf.set("yarn.resourcemanager.address", resourcenode+":8032"); // 指定resourcemanager
			conf.set("yarn.resourcemanager.scheduler.address", schedulernode+":8030");// 指定资源分配器
			conf.set("mapreduce.jobhistory.address", jobhistorynode+":10020");// 指定historyserver

这时,还需要做个操作即把相关的class文件打包,然后放到hadoop集群的lib目录

然后再次调用即可运行,虽然这时还是有这个提示;

解决方法:

使用代码:

job.setJar("C:\\Users\\fansy\\Desktop\\jars\\kmeans1.jar");
其中kmeans1.jar是把相关jar打包后的jar文件,这样就可以不用拷贝到hadoop集群的lib目录了;

后台分析:

跟踪代码,发现,如果设置了setJar,后台代码其实是把这个文件拷贝到job运行的tmp临时目录了,如下:

在运行完377行代码后,查看HDFS文件:


最后附上两个设置运行对比:

setJarByClass:


setJar:




分享,成长,快乐

脚踏实地,专注

转载请注明blog地址:http://blog.csdn.net/fansy1990



你可能感兴趣的:(No job jar file set. User classes may not be found. See Job or Job#setJar(String))