spark1.3.1安装

1、  下载scala2.11.4版本 下载地址为：

http://www.scala-lang.org/download/2.11.4.html

2、  解压和安装：

将源文件放到/opt/hadoop下，复制到/usr/local下面，解压

tar -zxvf scala-2.11.4.tgz

3、  编辑~/.bash_profile文件增加SCALA_HOME环境变量配置，

vim ~/.bashrc

exportSCALA_HOME=/usr/local/scala-2.11.4

source ~/.bashrc

4、  验证scala：

scala -version

Scala coderunner version 2.11.4 -- Copyright 2002-2013, LAMP/EPFL

 

5、  copy到slave机器，

sudo scp -r scala-2.11.4  root@hadoop170:/usr/local

sudo scp -r scala-2.11.4  root@hadoop171:/usr/local

sudo scp -r scala-2.11.4  root@hadoop172:/usr/local

6、  下载spark-1.3.1-bin-hadoop2.6.tgz

7、  解压安装

将源文件放大/opt/hadoop下面，复制到/usr/local下面，解压

tar –zxvf spark-1.3.1-bin-hadoop2.6.tgz

8、  配置spark 环境

vim ~/.bashrc

exportSPARK_HOME=/usr/local/spark-1.3.1-bin-hadoop2.6

source ~/.bashrc

9、  更改配置文件

cd $SPARK_HOME/conf/

cp slaves.template slaves

cp spark-env.sh.template spark-env.sh

 

vim slaves

#添加master和slaves

hadoop169

hadoop170

hadoop171

hadoop172

 

vim spark-env.sh

#添加环境变量

 

exportJAVA_HOME=${JAVA_HOME}

export SCALA_HOME=${SCALA_HOME}

export SPARK_MASTER_IP=192.168.2.169

export SPARK_WORKER_MEMORY=2g

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR }

HADOOP_CONF_DIR是Hadoop配置文件目录，SPARK_MASTER_IP主机IP地SPARK_WORKER_MEMORY是worker使用的最大内存

10、             完成配置后，将spark目录复制到slave当中

scp -r spark-1.3.1-bin-hadoop2.6 root@hadoop170:/usr/local

scp -r spark-1.3.1-bin-hadoop2.6 root@hadoop171:/usr/local

scp -r spark-1.3.1-bin-hadoop2.6 root@hadoop172:/usr/local

11、             启动spark分布式集群并查看信息

cd $SPARK_HOME/sbin

./start-all.sh

12、             页面查看集群状况：

进去spark集群的web管理页面，访问

http://192.168.2.169:8080

13、             进入spark的shell

bin/spark-shell

访问http://192.168.2.169:4040