Spark如何提交job

spark提交job方式

standalone方式
  1. client 模式
  2. cluster模式
yarn方式
  1. client模式
    完整体提交job语句:
spark-submit --master yarn 
--deploy-mode client 
--executor-memory 2G 
--executor-cores 1 
--class org.apache.spark.examples.SparkPi 
/opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.4.0-cdh6.2.0.jar  100

若集群指定默认提交方式则无需指定-- deploy-mode
直接:

  1. cluster模式
spark-submit --master yarn 
--deploy-mode cluster 
--executor-memory 2G 
--executor-cores 1 
--class org.apache.spark.examples.SparkPi 
/opt/cloudera/parcels/CDH/lib/spark/examples/jars/spark-examples_2.11-2.4.0-cdh6.2.0.jar  100


你可能感兴趣的:(bigdata)