spark-submit提交python脚本过程记录

        最近刚学习spark,用spark-submit命令提交一个python脚本,一开始老报错,所以打算好好整理一下用spark-submit命令提交python脚本的过程。先看一下spark-submit的可选参数

1.spark-submit参数

--master MASTER_URL:设置集群的主URL,用于决定任务提交到何处执行。常见的选项有

             local:提交到本地服务器执行,并分配单个线程

             local[k]:提交到本地服务器执行,并分配k个线程

             spark://HOST:PORT:提交到standalone模式部署的spark集群中,并指定主节点的IP与端口

             mesos://HOST:PORT:提交到mesos模式部署的集群中,并指定主节点的IP与端口

             yarn:提交到yarn模式部署的集群中

--deploy-mode DEPLOY_MODE:设置driver启动的未知,可选项如下,默认为client

             client:在客户端上启动driver,这样逻辑运算在client上执行,任务执行在cluster上

             cluster:逻辑运算与任务执行均在cluster上,cluster模式暂时不支持于Mesos集群或Python应用程序

--class CLASS_NAME :指定应用程序的类入口,即主类,仅针对java、scala程序,不作用于python程序

--name NAME :应用程序的名称

--jars JARS:用逗号隔开的driver本地jar包列表以及executor类路径,将程序代码及依赖资源打包成jar包

--packages:包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标

--exclude-packages:为了避免冲突 ,指定的参数--package中不包含的jars包

--repository:附加的远程资源库(包含jars包)等,可以通过maven坐标进行搜索

--py-files PY_FILES:逗号隔开的的.zip、.egg、.py文件,这些文件会放置在PYTHONPATH下,该参数仅针对python应用程序

--files FILES:逗号隔开的文件列表,这些文件将存放于每一个工作节点进程目录下

--conf PROP=VALUE:指定spark配置属性的值,格式为PROP=VALUE, 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"

--properties-file FILE:指定需要额外加载的配置文件,用逗号分隔,如果不指定,默认为 conf/spark-defaults.conf

--driver-memory MEM :配置driver内存,默认为1G

--driver-java-options:传递给driver的额外选项

--driver-library-path:传递给driver的额外的库路径

--driver-class-path:传递给driver 的额外的类路径,用--jars 添加的jar包会自动包含在类路径里

--executor-memory MEM :每个 executor 的内存,默认是1G

当'--master'参数设置为Standalone,‘--deploy-mode’参数设置为cluster时,如下选项可以设置:

--driver-cores NUM:driver使用的内核数,默认为1

当'--master'参数设置为Standalone或者Mesos,‘--deploy-mode’参数设置为cluster时,如下选项可以设置:

--supervise:如果设置了该参数,driver失败是会重启

--kill SUBMISSION_ID:如果设置了该参数,则会杀死指定SUBMISSION_ID的driver进程

--status SUBMISSION_ID:如果设置了该参数,则请求返回指定SUBMISSION_ID的driver的状态

当'--master'参数设置为Standalone或者Mesos时,如下选项可以设置:

 --total-executor-cores NUM:设置集群中所有工作节点上executor使用的内核总数

当'--master'参数设置为Standalone或者YARN时,如下选项可以设置:

--executor-cores NUM:每个executor使用的核数

当'--master'参数设置为YARN时,如下选项可以设置:

 --driver-cores NUM :当--deploy-mode为cluster时,driver使用的内核数,默认为1

 --queue QUEUE_NAME :将任务提交给哪个YARN队列,默认为YARN的默认队列

--num-executors NUM:设置启动的executor数量,默认为2

--archives ARCHIVES :被每个executor提取到工作目录的档案列表,用逗号隔开

2.python脚本编写注意事项

写python脚本时,有两点需要注意一下(我目前就知道这两点,实际需要注意的地方可能更多)

  • 脚本中需要创建SparkContext环境
from pyspark import SparkContext
sc=SparkContext(appName='first app')

SparkContext()函数有很多参数可以设置,详情参考这里,我这里只是添加应用名称说明

  • 在python脚本中,有时需要添加库依赖、使用import导入,所有的这些导入操作都必须在SparkContext环境创建完成之后

下面贴一下我测试时写的简单的demo,这个代码的作用是计算text.txt中包含字符“i”的行数

# -*- coding:utf-8 -*-
#firstApp.py
if __name__=="__main__":
    from pyspark import SparkContext
    sc=SparkContext(appName='firt app')
    word=sc.textFile('file:///home/hadoop/Download/test/test.txt')
    num_i=word.filter(lambda s:'i' in s).count()
    print(num_i)

这段代码中没有依赖额外的库,所以也就没有导入

3.提交python脚本

在提交firstApp.py脚本时,使用如下指令

$ spark-submit \
--master local[2] \
--num-executors 2 \
--executor-memory 1G \
--py-files /home/hadoop/Download/test/firstApp.py

结果报如下错误“Error: Cannot load main class from JAR file:/home/hadoop/Download/spark-2.1.1-bin-hadoop2.7/bin/master”,其中:/home/hadoop/Download/spark-2.1.1-bin-hadoop2.7/bin/master与hadoop安装路径相关,虽然python脚本没有主类这一说,但是可以猜测到该错误是由于找不到函数入口导致,我在这里找打了一些答案,--py-fiels参数是用来添加应用程序所依赖的python文件的,我们要提交的应用程序可以直接采用如下方式提交,这样就没有报错了

$ spark-submit \
--master local[2] \
--num-executors 2 \
--executor-memory 1G \
 /home/hadoop/Download/test/firstApp.py

 

 

你可能感兴趣的:(spark)