关于spark-submit执行jar包代码

测试如何使用spark-submit来执行编写的wordcount代码。

1、先简单编写测试文本。


以空格分隔

2、将文本提交到hdfs上。

指令为:hadoop fs -put 本地路径文件 hdfs文件路径文件

ps:我的hdfs文件路径为:/datas/wordcount

文件路径

3、编写wordcount代码

此代码仅做简单输出

4、使用maven的package打包,生成jar包,根据日志找到jar包路径


package打包


jar包路径

5、将jar包上传到linux指定目录

jar包上传的linux路径

6、spark-submit提交指令

指令

此处要注意换行和传入参数。最后一行的传入参数为文件输入路径。参考代码,为文章开头文本的保存路径。

7、输出结果


页面输出

你可能感兴趣的:(关于spark-submit执行jar包代码)