用oozie命令行的方式在yarn上运行spark任务

注意:杀死yarn进程的命令 yarn application -kill applicationID

1.做这个实验之前你的服务器上最好装了cdh集群,以及添加必要的组件,如hadoop,oozie,spark,yarn等。
2.需要准备一个关于spark的demo架包,我写的是WordCount功能的jar,网上关于这个的一大堆。

3.准备一个job.propertie和workflow.xml,内容如下

job.properties

用oozie命令行的方式在yarn上运行spark任务_第1张图片

workflow.xml

用oozie命令行的方式在yarn上运行spark任务_第2张图片

3.把需要的配置文件上传到你配置的hdfs路径上面,我配置的是hdfs://ctrl241:8020/usr/java这个目录下面

用oozie命令行的方式在yarn上运行spark任务_第3张图片

4.然后在服务器上执行如下命令:

5.打开oozie的界面

用oozie命令行的方式在yarn上运行spark任务_第4张图片

6.查看yarn的界面

用oozie命令行的方式在yarn上运行spark任务_第5张图片

7.查看yarn的日志文件

用oozie命令行的方式在yarn上运行spark任务_第6张图片

你可能感兴趣的:(bigdata)