IDEA将spark程序打成jar包上传到集群运行

一、基于IDEA插件

File->Project Structure->Artifacts->"+"->Jars->From modules with dependencies

IDEA将spark程序打成jar包上传到集群运行_第1张图片

 

IDEA将spark程序打成jar包上传到集群运行_第2张图片

 

IDEA将spark程序打成jar包上传到集群运行_第3张图片

 

IDEA将spark程序打成jar包上传到集群运行_第4张图片

 

IDEA将spark程序打成jar包上传到集群运行_第5张图片

然后Build->Build Artifacts->Build

IDEA将spark程序打成jar包上传到集群运行_第6张图片

 

IDEA将spark程序打成jar包上传到集群运行_第7张图片

生成的jar包在左侧目录结构中可以看到(这个生成位置是可以指定的)

IDEA将spark程序打成jar包上传到集群运行_第8张图片

将生成的jar包上传至虚拟机,并提交运行

./spark-submit --class dataCleaner.ETL ~/soft/firstSpark.jar

看到输出结果,成功!

IDEA将spark程序打成jar包上传到集群运行_第9张图片

之后如果修改代码需要重新打包,并不需要将这些步骤从头再来一遍,只需要在Build Artifacts时选择rebuild就可以。

IDEA将spark程序打成jar包上传到集群运行_第10张图片

 

 

你可能感兴趣的:(Spark)