Spark Standalone模式与测试

版本配置：

spark-2.1.1-bin-hadoop2.7.tgz

hadoop2.7.3

 

Standalone  模式

概述

构建一个由 Master+Slave 构成的 Spark 集群，Spark 运行在集群中。

2.4.2  安装使用

spark包解压后进入目录 /usr/local/BigDataApp/spark-2.1.1-bin-hadoop2.7

1）进入 spark-2.1.1-bin-hadoop2.7 安装目录下的 conf 文件夹
2）修改配置文件名称

cp slaves.template slaves
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf

# 可以cp可以mv，为了保险我使用的cp

3）修改 slave 文件，添加 work 节点：
vim slaves

master
slave1
slave2
slave3

4）修改 spark-env.sh 文件，添加如下配置：
vim spark-env.sh

SPARK_MASTER_HOST=hadoop101
SPARK_MASTER_PORT=7077

5）分发 spark 包
[root@master BigDataApp]# xsync spark/

我使用的scp分发
6）在master上全启动

启动
[root@master spark-2.1.1-bin-hadoop2.7]# sbin/start-all.sh   

停止
[root@master spark-2.1.1-bin-hadoop2.7]# sbin/stop-all.sh    

注意：如果遇到 “JAVA_HOME not set” 异常，可以在 sbin 目录下的 spark-config.sh 文件
中加入如下配置：
export JAVA_HOME=XXXX

7）192.168.187.100:8080/验证

测试：

官方求 PI 案例

在spark目录下面执行：

[root@master spark-2.1.1-bin-hadoop2.7]#

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.11-2.1.1.jar \
100

结果：

启动 spark shell

bin/spark-shell --master spark://master:7077