【Spark五十七】Spark on Yarn重复提交spark-assembly-1.2.0-hadoop2.4.0

在Spark on Yarn的部署模式中,每次提交application,都会往HDFS中存放一个spark的二进制包,这一方面影响性能,另一方面占用HDFS的存储空间,

可以在spark-default.conf文件中添加如下配置,将spark的二进制包告诉Spark,已经上传

 

spark.yarn.jar hdfs://hadoop.master:8020/spark_lib_jars/spark-assembly-1.2.0-hadoop2.4.0

 

在运行spark程序前,需要将spark的jar文件上传至HDFS中

 

 

这个设置解决了在http://bit1129.iteye.com/blog/2174677中测试yarn client和yarn cluster两种方式提交作业时,spaspark jar提交了两次

 

参考:http://www.cnblogs.com/luogankun/p/4191796.html

你可能感兴趣的:(assembly)