spark-submit参数说明--standalone

示例: spark-submit [--option value]  [application arguments]

参数名称

含义

--master MASTER_URL

spark://host:port

--deploy-mode DEPLOY_MODE

Driver程序运行的地方:clientcluster,默认是client

--class CLASS_NAME

应用程序主类名称,含包名

--name NAME

应用程序名称

--jars JARS

Driver依赖的第三方jar包

--properties-file FILE

应用程序属性的文件路径,默认是conf/spark-defaults.conf

 

以下设置Driver

--driver-cores NUM

Driver程序的使用CPU核数,默认1(只用于cluster

--driver-memory MEM

Driver程序使用内存大小,默认512M

--driver-library-path

Driver程序的库路径

--driver-class-path

Driver程序的类路径

--driver-java-options

 

--supervise

重启失败的Driver(只用于cluster

 

以下设置Executor

--total-executor-cores NUM

所有executor使用的总核数

--executor-memory MEM

executor内存大小,默认1G

--files FILES

用逗号隔开的要放置在每个executor工作目录的文件列表

 

注意

standalone模式每个worker一个executor,无法修改executor的数量

转载于:https://www.cnblogs.com/liugh/p/6952941.html

你可能感兴趣的:(spark-submit参数说明--standalone)