Spark3 Mac单机环境搭建

Spark3.0 Mac单机环境搭建

  • 1 相关准备
    • 1.1 JDK安装
    • 1.2 Scala安装
  • 2 Spark安装配置
    • 2.1 Spark 下载
    • 2.2 Spark环境配置
      • 2.2.1 配置spark-env文件
      • 2.2.2 环境变量配置
  • 3 Local模式测试

1 相关准备

  若已配置JDK和Scala,可跳过此步骤。

1.1 JDK安装

  Spark需要JDK版本8以上,以下以JDK8安装为例
JDK下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Spark3 Mac单机环境搭建_第1张图片
  下载完成后,点击安装包,一路继续完成安装。

  配置JDK环境变量,JDK目录地址需通过 /usr/libexec/java_home -V 命令查看,下图中红框内为JDK目录地址。
在这里插入图片描述
  在终端输入vim ~/.bash_profile添加JDK地址。

#添加如下内容
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
export PATH=$PATH:$JAVA_HOME/bin:
#退出执行source ~/.bash_profile

  在环境变量配置完成后,在终端输入java -version,若输出版本号则安装完成。

$ java -version
#输出
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)

1.2 Scala安装

  Scala下载地址:https://www.scala-lang.org/download/
Spark3 Mac单机环境搭建_第2张图片
  解压下载的Scala压缩包,例如Scala解压至/Users/xx/

tar -xzf scala-2.13.1.tgz -C /Users/xx/

  配置Scala环境变量,在终端输入vim ~/.bash_profile添加Scala目录地址。

#添加如下内容
#添加SCALA文件夹目录地址
export SCALA_HOME=/Users/xx/scala-2.13.1
export PATH=$SCALA_HOME/bin:$PATH
#退出执行source ~/.bash_profile

  在终端输入scala -version输出对应版本信息则安装无误。
在这里插入图片描述

2 Spark安装配置

2.1 Spark 下载

  Spark下载地址:http://spark.apache.org/downloads.html
Spark3 Mac单机环境搭建_第3张图片
  解压下载的Scala压缩包,例如Spark解压至/User/xx/

tar -xzf spark-3.0.0-preview2-bin-hadoop2.7.tgz -C /User/xx/

2.2 Spark环境配置

2.2.1 配置spark-env文件

  (1)将conf目录下的spark-env.sh.template重命名为spark-env.sh
  (2)在spark-env.sh文件中添加如下内容。

#添加如下内容
#配置JAVA_HOME
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home
#配置Scala_HOME
export SCALA_HOME=/Users/xx/scala-2.13.1
#配置Spark_HOME
export SPARK_HOME=/Users/xx/spark-3.0.0-preview2-bin-hadoop2.7

2.2.2 环境变量配置

  配置Spark环境变量,在终端输入vim ~/.bash_profile

#添加如下内容
#添加配置Spark文件夹目录地址
export SPARK_HOME=/Users/xx/spark-3.0.0-preview2-bin-hadoop2.7
export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:
export PYSPARK_PYTHON=python3.6
#退出,执行source ~/.bash_profile


  注:若需要Python3需更改,需要设置PYSPARK_PYTHON

3 Local模式测试

  在终端输入pyspark,并可在浏览器中查看,localhost:4040
Spark3 Mac单机环境搭建_第4张图片
Spark3 Mac单机环境搭建_第5张图片

你可能感兴趣的:(Spark3 Mac单机环境搭建)