Spark-Submit任务提交及重要参数

任务提交

格式: 
./spark-submit \
--master local | yarn | spark集群 ....
--其他的资源参数信息 (可选的  基本都是有默认值)
执行脚本 [参数]
例子：
cd /export/server/spark/bin/
./spark-submit \
--master yarn \
--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \
--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \
/export/server/spark/examples/src/main/python/pi.py  100

重要参数

# 博学谷IT 技术支持