mac系统spark环境搭建

所需工具

1.jdk

2.scala
下载地址：scala官网下载

scala版本下载需注意，后期idea编译可能导致报错，scala版本和spark版本存在一些兼容性问题

spark开发语言支持scala、java和python，推荐scala，因为spark源码就是scala，后期可以为研究源码打基础

3.spark

下载地址：spark官网下载

配置环境变量

vi ~/.bash_profile

追加

export SCALA_HOME=/usr/local/Cellar/scala
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/Users/lv/spark/spark-2.0.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

source ~/.bash_profile

验证：

scala -version

spark -version

spark

启动

./sbin/start-master.sh

访问spark本地web：http://localhost:8080

停止

./sbin/stop-master.sh 

添加workers

域名端口号为spark的本地web页面上显示

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost:7077

添加完成后刷新web页面，workers下就会有相应的worker

中止该worker只需control+c。