spark编译安装及部署

1、下载并编译spark源码

    下载spark http://spark.apache.org/downloads.html 我下载的是1.2.0版本

    解压并编译，在编译前，可以根据自己机器的环境修改相应的pom.xml配置，我的环境是hadoop2.4.1修改个小版本号即可，编译包括了对hive、yarn、ganglia等的支持

tar xzf ~/source/spark-1.2.0.tgz
cd spark-1.2.0
vi pom.xml
./make-distribution.sh --name 2.4.1 --with-tachyon --tgz -Pspark-ganglia-lgpl -Pyarn -Pkinesis-asl -Phive-0.13.1 -Phive-thriftserver -Phadoop-2.4 -Djava.version=1.6 -Dhadoop.version=2.4.1 -DskipTests

注：spark每个版本发布后，可能都会对pom.xml配置做出相应的调整，请根据pom.xml文件中的配置，对应调整编译时的参数。

2、spark相关配置

    将编译后的.tgz文件解压，配置环境变量及spark配置文件，如下：

    环境变量：（仅列出spark相关的配置）

export SCALA_HOME=/home/ocdc/bin/scala-2.10.4
export PATH=$SCALA_HOME/bin:$PATH

export SPARK_HOME=/home/ocdc/bin/spark-1.2.0-bin-2.4.1
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin:

    spark-env.sh

export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=17077
export SPARK_MASTER_WEBUI_PORT=18080

export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_WEBUI_PORT=18081
export SPARK_WORKER_INSTANCES=1

#配置master的HA时，需要配置此项，ZK需要提前启动
#export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,node1:2181,node2:2181"

    slaves

node1
node2
node3

    spark-default.conf

spark.master                     spark://master:17077

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://cluster1:8021/eventLogDir

spark.executor.memory	         512m
spark.driver.memory              512m

    复制spark到各个节点

scp -r ~/bin/spark-1.2.0-bin-2.4.1/ ocdc@node1:~/bin/
scp -r ~/bin/spark-1.2.0-bin-2.4.1/ ocdc@node2:~/bin/
scp -r ~/bin/spark-1.2.0-bin-2.4.1/ ocdc@node3:~/bin/

3、启动spark（master单点）

cd $SPARK_HOME
sbin/start-all.sh

4、spark (基于zookeeper的master节点HA)

    配置zookeeper集群，使用master、node1、node2三个节点，有关zookeeper集群的配置此处略过。三个节点启动zookeeper

zkServer.sh start

    spark-env.sh配置文件增加zookeeper相关配置(注：因为HA后，master可以为多个，所以在配置文件中不可指定SPARK_MASTER_IP，否则无法正常启动)

#export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=17077
export SPARK_MASTER_WEBUI_PORT=18080

export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_WEBUI_PORT=18081
export SPARK_WORKER_INSTANCES=1
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,node1:2181,node2:2181"

    master节点启动spark

sbin/start-all.sh

    node1节点启动HA

sbin/start-master.sh

5、启动spark-shell

    1)单个master进程启动

bin/spark-shell --master spark://master:17077

    2）HA模式启动

bin/spark-shell --master spark://master:17077,node1:17077

6、启动history-server

    在node1节点启动history-server,相关配置已经在spark-defaults.conf中配置

sbin/start-history-server.sh hdfs://cluster1:8020/eventLogDir