linux spark分布式集群搭建图文详解

一.前期准备

1.1 Win7官网下载spark包

本文使用版本spark-1.6.2-bin-hadoop2.6.tgz

1.2 配置jdk

jdk1.7:linux jdk安装和配置

scala2.10.6:linux scala安装和配置

hadoop-2.6.5:hadoop分布式集群搭建

1.3 centos7集群服务器

主机名    系统          IP地址
master    centos7    192.168.32.128
slave01   centos7    192.168.32.131
slave02   centos7     192.168.32.132

二.spark完全分布式集群搭建

以下操作只针对master主机服务器，其他主机服务器类似。

2.1 上传spark包至 /opt/software目录

2.2 解压和拷贝spark至 /usr/local/spark

cd /opt/software
tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz
cp -r spark-1.6.2-bin-hadoop2.6 /usr/local/spark

spark解压和拷贝

spark解压和拷贝完成

三.spark完全分布式集群配置

3.1 系统文件profile配置

配置系统环境变量

vi /etc/profile

系统环境配置

退出保存，重启配置

source /etc/profile

3.2 文件配置

定位：cd /usr/local/spark/conf

默认：

log4j.properties.template,spark-env.sh.template,slaves.template,spark-defaults.conf.template

复制：

log4j.properties,spark-env.sh,slaves,spark-defaults.conf

配置文件生成

3.3 修改spark-env.sh文件

vi spark-env.sh

export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=1G
export SPARK_EXECUTOR_MEMORY=1G
export SPARK_DRIVER_MEMORY=1G
export SPARK_WORKER_CORES=6

spark-env.sh文件

3.4 修改spark-defaults.conf文件

vi spark-defaults.conf
spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://master:9000/historyserverforSpark
spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
spark.yarn.historyServer.address  master:18080
spark.history.fs.logDirectory      hdfs://master:9000/historyserverforSpark

spark-defaults.conf文件

3.5 修改slaves文件

vi slaves

master
slave01
slave02

slaves文件

3.6 hadoop新建historyserverforSpark目录

#新建historyserverforSpark目录
hadoop fs -mkdir /historyserverforSpark
#查看目录
hadoop fs -ls /

目录新建和查看

3.7 slave01和slave02服务器修改

3.7.1 spark文件复制

复制master中spark文件到slave01和slave02服务器的/usr/local目录

scp -r /usr/local/sparkroot@slave01:/usr/local/spark
scp -r /usr/local/sparkroot@slave012:/usr/local/spark

3.7.2  系统环境profile配置

类似3.1 分别在salve01和slave02配置系统环境

四.spark集群测试

4.1 测试命令

#启动
start-all.sh start
#停止
stop-all.sh start

4.2 集群测试

在master服务器运行启动命令

进入/usr/local/spark目录

4.2.1 启动各个节点

sbin/start-all.sh start

启动节点

4.2.2 启动start-history-server

sbin/start-history-server.sh

history启动

4.2.3 查看节点状态

jps查看节点进程

master进程

slave进程

4.2.4 web端验证是否启动成功

通过web端的18080端口查看是否启动成功

http://192.168.32.128:18080

验证启动

4.2.5 通过spark-submit命令运行jar包

bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://192.168.32.128:7077 lib/spark-examples-1.6.2-hadoop2.6.0.jar 10

spark-submit测试

spark应用管理

history-server

至此，spark完成分布式集群搭建完毕。