Local、Hadoop YARN-client及Spark Standalone Cluster程序运行命令总结

Local、Hadoop YARN-client及Spark Standalone Cluster程序运行命令总结

在学习写pyspark程序的时候经常要使用jupyter或者命令行运行程序，因此需要根据不同的运行条件输入命令，总结一下以备后续使用时查看。

IPython Notebook启动命令

Local

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark --master local[*]

Hadoop YARN-client

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop pyspark --master yarn --deploy-mode client

Spark Standalone Cluster

PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark --master spark://master:7077 --num-executors 1 --total-executor-cores 2 --executor-memory 512m

pyspark程序运行命令

Local

命令行运行

spark-submit --driver-memory 2g --master local[4] wordcount.py

参数说明：

命令	说明
–driver-memory 512M	设置driver程序使用512M内存
–master loacal[4]	程序在本地运行，使用4个线程（会使用本地计算机上的多核CPU）
wordcount.py	要运行的Python程序

Hadoop YARN-client

命令行运行

HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop spark-submit --driver-memory 512M --executor-cores 2 --master yarn  --deploy-mode client --total-executor-cores 2 wordcount.py

参数说明：

命令	说明
HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop	在Hadoop YARN运行SPARK应用程序时需要设置HADOOP_CONF_DIR环境变量，需要设置为Hadoop配置文件目录
–driver-memory 512M	设置driver程序使用512M内存
–executor-cores 2	设置可执行的CPU
–master yarn	在Hadoop YARN上运行
–deploy-mode client	部署模式为client
wordcount.py	要运行的Python程序

Spark Standalone Cluster

命令行运行

spark-submit --master spark://master:7077  --deploy-mode client --executor-memory 500M --total-executor-cores 2 wordcount.py

参数说明：

命令	说明
–master spark://master:7077	在Spark Standalone Cluster上运行
–deploy-mode client	部署模式为client
–executor-memory 500M	设置每一个节点可使用500M内存
–total-executor-cores 2	设置可执行的CPU
wordcount.py	要运行的Python程序