spark configuration

spark提供了三种方式来配置:

Spark properties 控制应用的参数 可以使用SparkConf在程序中写明或java参数来控制
环境变量 是针对节点的 在conf/spark-env.sh下
Logging log4j.properties

Spark properties

可设置的选项:

spark.app.name  app's name
spark.driver.cores    

spark.driver.maxResultSize  
spark.diver.memory
在client模式执行时应该使用java参数设置不能使用SparkConf

spark.executor.memory
spark.extraListeners
spark.local.dir  默认为/tmp
spark.logConf
spark.master
spark.submit.deployMode
spark.log.callerContext
spark.driver.supervise

你可能感兴趣的:(spark configuration)