spark-submit提交作业参考0

spark-submit --class org.apache.spark.examples.SparkPi    \        #作业类名
    --master yarn \                      #spark模式
    --deploy-mode cluster \                #spark on yarn 模式
    --driver-memory 4g \                    #每一个driver的内存
    --executor-memory 2g \                    #每一个executor的内存
    --executor-cores 1 \                        #每一个executor占用的core数量
    --queue thequeue \                            #作业执行的队列
   --conf spark.yarn.maxAppAttempts=0 \
    examples/jars/spark-examples*.jar \            #jar包
    10                                               #传入类中所需要的参数

#

你可能感兴趣的:(spark-submit提交作业参考0)