spark-submit

进入$SPARK_HOME目录，输入bin/spark-submit --help可以得到该命令的使用帮助。

spark-submit 提交参数

--master  MASTER_URL spark://host:port, mesos://host:port, yarn, or local.

--deploy-mode    DEPLOY_MODE          driver运行之处，client运行在本机，cluster运行在集群

--class CLASS_NAME                             应用程序包的要运行的class

--name NAME                                          应用程序名称

--jars JARS                                              用逗号隔开的driver本地jar包列表以及executor类路径

--py-files PY_FILES                                 用逗号隔开的放置在Python应用程序PYTHONPATH上的.zip, .egg, .py文件列表

--files                                                        FILES 用逗号隔开的要放置在每个executor工作目录的文件列表

--properties-file                                         FILE 设置应用程序属性的文件放置位置，默认是conf/spark-defaults.conf

--driver-memory MEM                              driver内存大小，默认512M

--driver-java-options                                 driver的java选项

--driver-library-path                                  driver的库路径Extra library path entries to pass to the driver

--driver-class-path                                    driver的类路径，用--jars 添加的jar包会自动包含在类路径里

--executor-memory MEM                         executor内存大小，默认1G

Spark standalone with cluster deploy mode only:

--driver-cores NUM driver使用内核数，默认为1

--supervise 如果设置了该参数，driver失败是会重启

Spark standalone and Mesos only:

--total-executor-cores NUM executor使用的总核数

YARN-only:

--executor-cores NUM 每个executor使用的内核数，默认为1

--queue QUEUE_NAME 提交应用程序给哪个YARN的队列，默认是default队列

--num-executors NUM 启动的executor数量，默认是2个

--archives ARCHIVES 被每个executor提取到工作目录的档案列表，用逗号隔开

关于以上spark-submit的help信息，有几点需要强调一下：

关于--master --deploy-mode，正常情况下，可以不需要配置--deploy-mode，使用下面的值配置--master就可以了，使用类似 --master spark://host:port --deploy-mode cluster会将driver提交给cluster，然后就将worker给kill的现象。

Master URL                        含义

local                                   使用1个worker线程在本地运行Spark应用程序

local[K]                              使用K个worker线程在本地运行Spark应用程序

local[*]                               使用所有剩余worker线程在本地运行Spark应用程序

spark://HOST:PORT连接到Spark Standalone集群，以便在该集群上运行Spark应用程序

mesos://HOST:PORT连接到Mesos集群，以便在该集群上运行Spark应用程序

yarn-client                         以client方式连接到YARN集群，集群的定位由环境变量HADOOP_CONF_DIR定义，该方式driver在client运行。

yarn-cluster                       以cluster方式连接到YARN集群，集群的定位由环境变量HADOOP_CONF_DIR定义，该方式driver也在集群中运行。

如果要使用--properties-file的话，在--properties-file中定义的属性就不必要在spark-sumbit中再定义了，比如在conf/spark-defaults.conf 定义了spark.master，就可以不使用--master了。关于Spark属性的优先权为：SparkConf方式 > 命令行参数方式 >文件配置方式，具体参见Spark1.0.0属性配置。

和之前的版本不同，Spark1.0.0会将自身的jar包和--jars选项中的jar包自动传给集群。

Spark使用下面几种URI来处理文件的传播：

file:// 使用file://和绝对路径，是由driver的HTTP server来提供文件服务，各个executor从driver上拉回文件。

hdfs:, http:, https:, ftp: executor直接从URL拉回文件

local: executor本地本身存在的文件，不需要拉回；也可以是通过NFS网络共享的文件。

--jars参数，引用第三方依赖的jar 包

特别注意：将所需要的jar包放入自己指定的文件夹，将所依赖的jar包的绝对路径名字使用',' 进行拼接；

echo `ls ~/Document/software/hbase_jar/*.jar` | tr ' ' ','

参数名参数说明

--mastermaster 的地址，提交任务到哪里执行，例如 spark://host:port,  yarn,  local

--deploy-mode 在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client

--class 应用程序的主类，仅针对 java 或 scala 应用

--name 应用程序的名称

--jars 用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下

--packages 包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标

--exclude-packages 为了避免冲突 而指定不包含的 package

--repositories 远程 repository

--conf PROP=VALUE 指定 spark 配置属性的值，

 例如 -conf spark.executor.extraJavaOptions="-XX:MaxPermSize=256m"

--properties-file 加载的配置文件，默认为 conf/spark-defaults.conf

--driver-memory Driver内存，默认 1G

--driver-java-options 传给 driver 的额外的 Java 选项

--driver-library-path 传给 driver 的额外的库路径

--driver-class-path 传给 driver 的额外的类路径

--driver-cores Driver 的核数，默认是1。在 yarn 或者 standalone 下使用

--executor-memory 每个 executor 的内存，默认是1G

--total-executor-cores 所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用

--num-executors 启动的 executor 数量。默认为2。在 yarn 下使用

--executor-core 每个 executor 的核数。在yarn或者standalone下使用

示例：

yuanpei

#!/bin/bash

#=====================

#yarn-client

#=====================

export PYSPARK_PYTHON="./zhx/py3envzh/bin/python" && \

export PYSPARK_DRIVER_PYTHON=`which python3` && \

spark-submit \

--master yarn --deploy-mode client \

--driver-memory 2G --num-executors 5 \

--executor-cores 4 --executor-memory 4g \

--driver-java-options "-XX:MaxPermSize=1024M" \

--conf spark.sql.shuffle.partitions=200 \

--conf spark.sql.files.maxPartitionBytes=268435456 \

--conf spark.sql.files.openCostInBytes=2097152 \

--packages org.mongodb.spark:mongo-spark-connector_2.11:2.3.2 \

--archives /root/zhx/py3envzh.zip#zhx \

--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./zhx/py3envzh/bin/python \

--py-files /root/zhx/dist/yuanpei-0.1-py3.6.egg \

--queue kb_ai \

/root/zhx/yuanpei.py

xingzhi

#!/bin/bash

#=====================

#yarn-client

#=====================

export PYSPARK_PYTHON="./zsk/py3xzenv/bin/python" && \

export PYSPARK_DRIVER_PYTHON=`which python3` && \

spark-submit \

--master yarn --deploy-mode client \

--driver-memory 2G --num-executors 5 \

--executor-cores 4 --executor-memory 6g \

--driver-java-options "-XX:MaxPermSize=1024M" \

--jars $(echo /root/zsk/hbase_jar/*.jar | tr ' ' ',') \

--conf spark.sql.shuffle.partitions=200 \

--conf spark.sql.files.maxPartitionBytes=268435456 \

--conf spark.sql.files.openCostInBytes=2097152 \

--archives /root/zsk/py3xzenv.zip#zsk \

--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./zsk/py3xzenv/bin/python \

--py-files /root/zsk/xingzhi/dist/xingzhi-0.1-py3.6.egg \

--queue kb_ai \

/root/zsk/xingzhi/xingzhi.py \

debug

def init_static(LOGGING):

'''initialize static configuration'''

dictConfig(LOGGING)

os.environ['HADOOP_USER_NAME'] = 'hdfs'

conf = SparkConf()

#conf.addPyFile('/home/hdfs/zsk/site-packages.zip')

#conf.setMaster("local[2]")

#conf.setMaster("yarn")

conf.setAppName('xingzhi_student_stat')

#conf.set('spark.jars.packages', 'org.mongodb.spark:mongo-spark-connector_2.11:2.1.2')

#conf.set("spark.driver.host", "localhost")

conf.set('hive.metastore.uris', 'thrift://10.10.130.93:9083')

#这个是数据库连接语句

conf.set("spark.mongodb.input.uri", "mongodb://kb_dev:[email protected]:27017/test_kboe")

conf.set("spark.mongodb.output.uri", "mongodb://kb_dev:[email protected]:27017/test_kboe")

#ss = SparkSession.builder.getOrCreate()

sc = SparkContext(conf=conf)

#sc.setLogLevel('ALL')

hadoopConf = sc._jsc.hadoopConfiguration()

hadoopConf.set("fs.defaultFS", "hdfs://aiyunxiao")

hadoopConf.set("dfs.nameservices", "aiyunxiao")

hadoopConf.set("dfs.ha.namenodes.aiyunxiao", "nn1,nn2")

hadoopConf.set("dfs.namenode.rpc-address.aiyunxiao.nn1", "10.10.130.91:8020")

hadoopConf.set("dfs.namenode.rpc-address.aiyunxiao.nn2", "10.10.130.92:8020")

hadoopConf.set("dfs.client.failover.proxy.provider.aiyunxiao", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider")

return sc

anaconda 打包需要用到的python第三方包

例如：pymongo

如果在spark driver 端用到pymongo,需要在diver端安装pymongo

pip3 install pymongo

cluster模式

#!/bin/bash

#=====================

#yarn-client

#=====================

export PYSPARK_PYTHON="./zsk/py3xzenv/bin/python" && \

export PYSPARK_DRIVER_PYTHON=`which python3` && \

spark-submit \

--master yarn \

--deploy-mode cluster \

--driver-memory 2G \

--num-executors 5 \

--executor-cores 4 \

--executor-memory 6g \

--driver-java-options "-XX:MaxPermSize=1024M" \

--jars $(echo /root/xingzhi/hbase_jar/*.jar | tr ' ' ',') \

--conf spark.sql.shuffle.partitions=300 \

--conf spark.sql.files.maxPartitionBytes=268435456 \

--conf spark.sql.files.openCostInBytes=2097152 \

--archives /root/xingzhi/py3zh.zip#zsk \

--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./zsk/py3zh/bin/python \

--py-files /root/xingzhi/conduct_bak/xingzhi/dist/xingzhi-0.1-py3.6.egg \

--queue kb_ai \

/root/xingzhi/conduct_bak/xingzhi/xingzhi.py \

debug