Spark简要教程系列(一) Mac安装Spark

Spark的安装大多比较麻烦,而Mac安装Spark非常简单,本文分三部分内容。
1. 安装JDK
2. 安装Spark
3. 简单测试


1. 安装JDK

(1)进入官方下载页面
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

(2)在下载列表里选择Mac OS X(这个版本傻瓜式安装。。。。),点Accept License Agreement , 然后就可以点击下载了

Spark简要教程系列(一) Mac安装Spark_第1张图片

(3)下载完成后移动到你想存放的文件夹,然后双击安装就可以了。。。
打开终端,输入java -version

Spark简要教程系列(一) Mac安装Spark_第2张图片

真的安装好了。。。。。


2. 安装Spark

(1) 进入下载页面 http://spark.apache.org/downloads.html

Spark简要教程系列(一) Mac安装Spark_第3张图片

(2) 前3个下拉框选择合适的版本(一般选择最新的版本就行)

(3) 在4中点击下载 spark-xxx.tgz , 移动到你想存放的文件夹

(4) 解压下载好的spark-xxx.tgz文件,安装完成。打开文件,内容如下:

Spark简要教程系列(一) Mac安装Spark_第4张图片

安装好了。。。。。。为了之后使用方便,你可以把这个文件夹改个简单名字,如spark-bin


3. 简单测试

(1) 打开终端,进入Spark的路径,如

这里写图片描述

(2) 输入./sbin/start-master.sh ,回车,这时候主机已经开始运行了,可以打开浏览器,输入http://localhost:8080 ,效果如下:

Spark简要教程系列(一) Mac安装Spark_第5张图片

真的安装成功了。。。。。

(3)加Worker
在终端上command+n 打开一个新终端,进入相同路径,在新终端中输入

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

注意,将Worker后的URL改为上图中的URL,也就是自己的主机地址。如

./bin/spark-class org.apache.spark.deploy.worker.Worker
spark://chenbindeMacBook-Pro.local:7077

回车,刷新页面,在Workers下面多了一个worker,状态为ALIVE

Spark简要教程系列(一) Mac安装Spark_第6张图片

(4) 关掉worker
直接在新终端command+c , 刷新主机的Spark页面,worker已经DEAD了

Spark简要教程系列(一) Mac安装Spark_第7张图片

(5)关掉主机

在终端输入 ./sbin/stop-master.sh ,刷新主机的Spark页面,已经空白了。

这就是Mac 安装Spark的简单教程,真的是简单。。。具体步骤都有配图,希望能给大家带来帮助。

你可能感兴趣的:(Spark简要教程)