【Python3实战Spark大数据分析及调度】第5章 Spark运行模式

第五章 Spark运行模式

PySpark实战之运行模式

官方submit文档:Submitting Applications
pyspark 与 spark-submit中的参数列表是一样的


local模式下执行py脚本流程
【Python3实战Spark大数据分析及调度】第5章 Spark运行模式_第1张图片
在这里插入图片描述

【Python3实战Spark大数据分析及调度】第5章 Spark运行模式_第2张图片
standalone下提交脚本流程
【Python3实战Spark大数据分析及调度】第5章 Spark运行模式_第3张图片

【Python3实战Spark大数据分析及调度】第5章 Spark运行模式_第4张图片
yarn,不需要启动worker和master
standalone需要启动worker和master

【Python3实战Spark大数据分析及调度】第5章 Spark运行模式_第5张图片
deploy-mode
启动在本地节点 client
启动在集群上worker节点 cluster
【Python3实战Spark大数据分析及调度】第5章 Spark运行模式_第6张图片
Spark的driver运行在application master里面
在这里插入图片描述
在这里插入图片描述
yarn不能够支持交互式的程序

【Python3实战Spark大数据分析及调度】第5章 Spark运行模式_第7张图片
查看已经运行完的yarn 程序的日志
在这里插入图片描述
总结:不管你的spark运行在哪个模式下,spark代码并不需要任何的修改

你可能感兴趣的:(spark)