spark配置

spark该怎么配置配置文件？

1.找到官网的配置文件，用官网的配置文件做参考，进官网找对应configure，链接：http://spark.apache.org/docs/latest/configuration.html 。

一、spark-env.xml

！JAVA_HOME=。配置JAVA_HOME，即使你的环境变量配置了JAVA_HOME，这里还应该配置一遍，否则会提示找不到JAVA_HOME。推荐使用如下配置。

JAVA_HOME=/apps/jdk1.7_55

！SPARK_DAEMON_JAVA_OPTS=。基于zookeeper的standalone HA的配置，需配置zookeeper，将数据存储到zoopeeper。

非spark standalone HA不配置

spark standalone HA

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop1:2181,hadoop2:2181,hadoop3:2181 -Dspark.deploy.zookeeper.dir=/spark"

二、spark-default.conf

！spark.master=。配置此集群的spark.master。

非spark standalone HA，如果此属性不配置，实际启动时，在哪台节点上启动的，那么哪台节点就会启动master。

spark.master spark://hadoop2:7077

spark standalone HA

spark.master spark://hadoop2:7077,hadoop3:7077

Spark 配置指南