Spark1.2.1集群环境搭建——Standalone模式

机器准备

笔者有三台机器，左侧栏为ip，右侧为hostname，三台机器都有一个名为spark的用户。

192.168.248.150 spark-master
192.168.248.153 ubuntu-worker
192.168.248.155 spark-worker1

根据机器信息加入到三台机器的/etc/hosts中。

安装Hadoop2.4.1

详见Spark集群搭建——Hadoop2.4.1集群搭建，因为我们使用的是standalone方式，只启动hdfs即可。

安装scala

参照Scala极速入门安装部分，在一台机器上解压、配置环境变量后，将文件夹和环境变量文件通过scp拷贝到另外两台即可。

scp -r scala spark@ubuntu-worker:~/spark

下载spark

点此下载

解压文件 tar -xzvf spark-1.2.1-bin-hadoop2.4.tgz

配置

1.  向环境变量添加spark home。

export SPARK_HOME=/home/mupeng/Hadoop/spark-1.2.1-bin-hadoop2.4
export PATH=$SPARK_HOME/bin:$PATH

2.  配置./conf/slaves

首先将slaves.template拷贝一份

cp slaves.template slaves

修改slaves文件

# A Spark Worker will be started on each of the machines listed below.
spark-master
ubuntu-worker
spark-worker1

3.  配置./conf/spark-env.sh

同样将spark-env.sh.template拷贝一份

cp spark-env.sh.template spark-env.sh

在spark-env.sh最后加入以下几行

export JAVA_HOME=/home/mupeng/java/jdk1.6.0_35
export SCALA_HOME=/home/mupeng/scala/scala-2.11.6
export SPARK_MASTER_IP=192.168.248.150
export SPARK_WORKER_MEMORY=25g
export MASTER=spark://192.168.248.150:7077

最后将spark-1.2.1-bin-hadoop2.4文件夹拷贝到另外两个结点即可。

检查安装是否成功

访问web管理界面：http://192.168.248.150:8080

好了，配置结束，可以在我们的spark集群上运行任务了！