spark-submit 提交yarn-client yarn-cluster两种模式的差别

spark-submit提交给yarn的两种方式总结与区分:

spark-submit提交给yarn有两种方式, 1为yarn-cluster, 2为yarn-client

两种方式的区别

yarn-client主要是用于测试,因为driver运行在本地客户端,负责调度application,会与yarn集群产生大量的网络通信,会导致网卡流量激增!!好处在于直接执行时,本地可以看到所有的log,方便调试

yarn-cluster用户生产环境,以为driver运行在nodemanager,没有网卡流量激增的问题。缺点在于调试不方便,本地用spark-submit提交后,看不到log,只能通过yarn application -logs application_id这种命令来查看,比较麻烦  或者  yarn logs -applicationId application_id

spark作业提交示例:

以下三个示例都可提交上集群 。有一个问题待解决。新增一个节点提交时候总是报jar包找不到,问题挂起,见另一篇文章

spark-submit --class "com.hadoop.init.P_app" --master yarn-cluster --num-executors 2 --executor-cores 1 --executor-memory 6G   app.jar 4

spark-submit --class "com.hadoop.init.P_app" --master yarn-cluster --num-executors 2 --executor-cores 1 --executor-memory 6G --driver-class-path spark_json_lib/druid-1.0.13.jar --driver-class-path spark_json_lib/druid-1.0.23.jar --driver-class-path spark_json_lib/gson-2.7.jar --driver-class-path spark_json_lib/mysql-connector-java-5.1.33.jar  app.jar 4

spark-submit --class "com.hadoop.init.P_app" --master yarn-cluster --num-executors 2 --executor-cores 1 --executor-memory 6G --driver-class-path spark_json_lib/druid-1.0.13.jar  --jars spark_json_lib/druid-1.0.13.jar,spark_json_lib/druid-1.0.23.jar,spark_json_lib/gson-2.7.jar,spark_json_lib/mysql-connector-java-5.1.33.jar app.jar 4

 

你可能感兴趣的:(Spark)