spark1.4安装

1. 在配置文件中加入”SPARK_HOME”，并把spark的bin目录加入到PATH中

 export SPARK_HOME=/usr/local/spark/spark-1.4.1-bin-hadoop2.4
 export CLASS_PATH=.:${JAVA_HOME}/lib
export PATH=$SPARK_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

2.配置spark
把conf目录下的spark-env.sh.template拷贝到spark-env.sh

cp spark-env.sh.template spark-env.sh

并添加一下内容：

export JAVA_HOME=/usr/local/jdk1.7
export SPARK_MASTER_IP=moon
export SPARK_WORKER_CORES=1
export SPARK_WORDER_INSTANCES=2
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=2g

其中:
JAVA_HOME:指定的是 Java 的安装目录;
SCALA_HOME:指定的是 Scala 的安装目录;
SPARK_MASTER_IP:指定的是 Spark 集群的 Master 节点的 IP 地址;
SPARK_WORKER_MEMOERY:指定的 Worker 节点能够最大分配给 Excutors 的内存大小,
因为我们的三台机器配置都是 2g,为了最充分的使用内存,这里设置为了 2g;
HADOOP_CONF_DIR:指定的是我们原来的 Hadoop 集群的配置文件的目录;
接下来配置 Spark 的 conf 下的 slaves 文件,把 Worker 节点都添加进去:

Master
Slave1
Slave2

启动

先启动hadoop集群，然后在spark/sbin/目录下执行

./start-all.sh

启动spark集群