Spark与PySpark交互流程 spark-submit相关参数、RDD特性特点 以及构建 RDD的算子函数

Spark相关内容

1.spark程序与pySpark交互流程

给你一个图
Spark与PySpark交互流程 spark-submit相关参数、RDD特性特点 以及构建 RDD的算子函数_第1张图片

2.Spark-Submit相关参数

spark-submit 命令作用:

用于将spark程序提交指定的资源调度平台上进行运行, 
并且提交的过程中可以对资源,任务进行相关设置
'相关的参数:
	--master
	--deploy-mode
	--conf
'

Spark与PySpark交互流程 spark-submit相关参数、RDD特性特点 以及构建 RDD的算子函数_第2张图片
Driver资源参数:

你可能感兴趣的:(离线数仓,python大数据开发,spark,big,data)