大数据之 Spark 安装(macOS Mojave)

本教程采用 CDH 版,以避免版本依赖冲突导致错误,本教程同样适用于 Linux(推荐 CentOS);
hadoop 版本:hadoop-2.6.0-cdh5.9.3.tar.gz
Spark 版本:spark-1.6.0-cdh5.9.3(自己编译的,详见:大数据之 Spark 编译打包)
解压 spark

tar -zxvf spark-1.6.0-cdh5.9.3

Spark 环境变量配置

配置项如下:

#added by Spark installer
export SPARK_HOME=/Users/zhangzhao/develop/hadoop/spark-1.6.0-cdh5.9.3
export PATH=$PATH:$SPARK_HOME/bin

Spark Local 模式启动

spark-shell --master local[2]

local[2] 表示启动 2 个 work
如下图:


Local 模式

访问上图的地址,http://192.168.1.126:4040,效果如下图:


Spark 管理

Spark Standalone模式环境搭建

在 conf/spark-env.sh 添加如下配置:

# master 的 hostname,使用 hostname 命令查看
SPARK_MASTER_HOST=zhangzhaodeMacBook-Pro.local
#Spark worker core 的数量
SPARK_WORKER_CORES=2
#Spark worker 的初始化内存
SPARK_WORKER_MEMORY=2g
zhangzhaodeMacBook-Pro:conf zhangzhao$ cp spark-env.sh.template spark-env.sh
zhangzhaodeMacBook-Pro:conf zhangzhao$ vim spark-env.sh

配置如下图:


Spark-spark-env.sh 配置

启动 Spark

在 spark 根目录下执行 sbin/start-all.sh

zhangzhaodeMacBook-Pro:spark-2.4.0-bin-cdh5.9.3 zhangzhao$ sbin/start-all.sh 
starting org.apache.spark.deploy.master.Master, logging to /Users/zhangzhao/develop/hadoop/spark-2.4.0-
bin-cdh5.9.3/logs/spark-zhangzhao-org.apache.spark.deploy.master.Master-1-zhangzhaodeMacBook-
Pro.local.out
localhost: starting org.apache.spark.deploy.worker.Worker, logging to 
/Users/zhangzhao/develop/hadoop/spark-2.4.0-bin-cdh5.9.3/logs/spark-zhangzhao-
org.apache.spark.deploy.worker.Worker-1-zhangzhaodeMacBook-Pro.local.out
zhangzhaodeMacBook-Pro:spark-2.4.0-bin-cdh5.9.3 zhangzhao$ 

jps 命令验证是否成功,如下图,出现Master和Worker进程,表明启动成功:


Spark 启动验证

停止 Spark

在 spark 根目录下执行 sbin/stop-all.sh

sbin/stop-all.sh 

你可能感兴趣的:(大数据之 Spark 安装(macOS Mojave))