搭建hadoop/spark集群环境

hadoop2.5.2的安装可以参照:

http://blog.csdn.net/greensurfer/article/details/39450369

jdk下载地址:

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

hadoop下载地址:

http://mirrors.cnnic.cn/apache/hadoop/common/

这篇文章中没有说配置环境的事，我在这里简单说一下，为了能使虚机启动后环境变量就直接可用，我将jdk和hadoop直接配置到~/.bashrc文件中。

# set java environment
export JAVA_HOME=/usr/lib/java/jdk1.7.0_71
export SCALA_HOME=/usr/lib/scala/scala-2.11.4
export SPARK_HOME=/usr/local/spark/spark-1.2.0-bin-hadoop2.4
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:/usr/local/hadoop/hadoop-2.5.2/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

配置完成后，使用source使命令生效。

除此之外，在进行配制前要前将本地的hostname和hosts进行修改

?

1 2	vim /etc/profile vim /etc/hosts

对于hostname主节点修改为master，分支节点修改为slave1/slave2/salve3.........

对于hosts里面要添加主从节点的host

?

1 2 3

master 192.168.1.3 slave1 192.168.1.10 slave2 192.168.1.20

我主要说一下spark集群的安装

先去scala和spark的官网下载scala-2.11.4.tgz、spark-1.2.0-bin-hadoop2.4.tgz
安装scala
创建目录

?

1	mkdir /usr/lib/scala

在新建的目录中解压scala

?

1	tar zxvf scala-2.11.4.tgz

将scala添加到环境变量中

?

1	vim ~/.bashrc

在文件最下面添加

?

1 2	export SCALA_HOME= /usr/lib/scala/scala-2 .11.4 export PATH=$PATH:$SCALA_HOME /bin

保存退出后，用source使命令生效

?

1	source ~/.bashrc

查看scala是否安装成功

?

1 2	[root@master scala] # scala -version Scala code runner version 2.11.4 -- Copyright 2002-2013, LAMP /EPFL

这样在master上就完成了scala的安装，由于spark要运行在master、slave1、slave2三个虚机上，所以我们可以用scp命令将~/.bashrc从master拷贝到slave机器上

安装spark

创建目录

?

1	mkdir /usr/local/spark

将已下载的spark-1.2.0-bin-hadoop2.4.tgz解压到此目录中

?

1	tar zxvf spark-1.2.0-bin-hadoop2.4.tgz

设置环境变量

?

1	vim ~/.bashrc

在文件中添加一行

?

1	export SPARK_HOME= /usr/local/spark/spark-1 .2.0-bin-hadoop2.4

修改文件的PATH为

?

1	export PATH=$PATH:$SCALA_HOME /bin :$SPARK_HOME /bin

如果要把jdk和hadoop也一起加入的话，那最后结果为

?

1 2 3 4 5 6

# set java environment export JAVA_HOME= /usr/lib/java/jdk1 .7.0_71 export SCALA_HOME= /usr/lib/scala/scala-2 .11.4 export SPARK_HOME= /usr/local/spark/spark-1 .2.0-bin-hadoop2.4 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME /lib :$JAVA_HOME /jre/lib export PATH=$PATH:$JAVA_HOME /bin :$JAVA_HOME /jre/bin : /usr/local/hadoop/hadoop-2 .5.2 /bin :$SCALA_HOME /bin :$SPARK_HOME /bin

使用source使命令生效

?

1	source ~/.bashrc

配制spark，进入到spark的conf目录

?

1	[root@master scala] # cd /usr/local/spark/spark-1.2.0-bin-hadoop2.4/conf

使用cp命令复制一份spark-env.sh

?

1	cp spark- env .sh.template spark- env .sh

修改此文件，在文件末尾添加

?

1 2 3 4 5 6 7 8 9 10

###jdk安装目录 export JAVA_HOME= /usr/lib/java/jdk1 .7.0_71 ###scala安装目录 export SCALA_HOME= /usr/lib/scala/scala-2 .11.4 ###spark集群的master节点的ip export SPARK_MASTER_IP=192.168.1.3 ###指定的worker节点能够最大分配给Excutors的内存大小 export SPARK_WORKER_MEMORY=1g ###hadoop集群的配置文件目录 export HADOOP_CONF_DIR= /usr/local/hadoop/hadoop-2 .5.2 /etc/hadoop

修改conf目录下面的slaves文件将worker节点都加进去

?

1 2 3 4 5

[root@master conf] # cat slaves # A Spark Worker will be started on each of the machines listed below. master slave1 slave2

保存退出，这样master中spark就安装完成了，slave节点和maser一样的设置

成功后如下图

另外说一些实用的界面

查看spark-shell状态

?

1	http: //master :4040 /stages/

查看sprak中worker的状态

?

1	http: //master :8080

查看dfs(datanode)的状态

?

1	http: //master :50070

查看nodes的状态

?

1	http: //master :8088