spark配置

阅读更多

1. spark 可以在3处配置系统：spark properties控制大多数应用程序的参数，通过SparkConf对象或者Java系统property设置；环境变量在每一台机器上可以通过conf/spark-env.sh单独设置；Logging可以通过log4j.properties设置

2. SparkConf单独为每个应用程序设置，可以设置masterURL，应用程序名，以及任意的键值对，通过相应的set方法。spark-shell和spark-submit支持两种动态加载配置的方式，第一是通过命令行参数，第二是通过--conf标志。./bin/spark-submit --help可以查看命令参数。bin/spark-submit也将从conf/spark-defaults.conf文件中加载配置信息，文件中包含以空格分隔的键值对。配置的优先级从高到低依次是SparkConf > 传递到spark-shell或spark-submit的参数 > spark-defaults.conf文件。

3. 常用的应用程序配置参数

spark.executor.memory

转载于:https://my.oschina.net/jhone/blog/352838