spark运行原理和启动

#集群启动spark-shell(指定了集群的参数)–集群主机url --核心数 --使用内存 --运行程序 --路径
/opt/spark/bin/spark-shell --master spark://master1:7077 --executor-memory 512m

spark运行原理和启动_第1张图片
spark运行原理和启动_第2张图片
Spark集群中运行.py文件命令:

/opt/spark/bin/spark-submit --master spark://master1:7077 --executor-memory 512m
–total-executor-cores 2 /data/demo01.py

你可能感兴趣的:(大数据,spark,原理图,启动)