Windows下安装Spark(亲测成功安装)

Windows下安装Spark

  • 一、Spark安装前提
    • 1.1、JDK安装(version:1.8)
      • 1.1.1、JDK官网下载
      • 1.1.2、JDK网盘下载
      • 1.1.3、JDK安装
    • 1.2、Scala安装(version:2.11.12)
      • 1.2.1、Scala官网下载
      • 1.2.2、Scala网盘下载
      • 1.2.3、Scala安装
      • 1.2.4、验证Scala是否安装成功
    • 1.3、Hadoop安装(version:2.7.2)
  • 二、安装Spark(version:2.4.7)
    • 1.1.1、Spark官网下载
    • 1.1.2、Spark网盘下载
    • 1.1.3、Spark安装
    • 1.2.4、验证Spark是否安装成功

一、Spark安装前提

安装Spark之前,需要安装JDK、Hadoop、Scala。
本次安装版本选择:
JDK:1.8
Hadoop:2.7.2
Scala:2.11.12
Spark:2.4.7

1.1、JDK安装(version:1.8)

1.1.1、JDK官网下载

官网下载地址(需要oracle账号)
https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

1.1.2、JDK网盘下载

或者网盘下载:https://pan.baidu.com/s/1MMkFbzcf8ZYvGwdHreXtUg?pwd=yyds

1.1.3、JDK安装

安装方法就不赘述了。

1.2、Scala安装(version:2.11.12)

1.2.1、Scala官网下载

官网下载地址:https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.msi

1.2.2、Scala网盘下载

网盘下载地址:https://pan.baidu.com/s/1Qiy1aEndKn_Xs-zSSLaWIA?pwd=yyds

1.2.3、Scala安装

本地点击msi文件安装,安装目录为 D:\bigdata\scala\2.11.12\
设置环境变量 %SCALA_HOME%
Windows下安装Spark(亲测成功安装)_第1张图片
环境变量Path添加条目%SCALA_HOME%\bin
Windows下安装Spark(亲测成功安装)_第2张图片

1.2.4、验证Scala是否安装成功

为了验证Scala是否安装成功,开启一个新的cmd窗口。
输入:Scala
Windows下安装Spark(亲测成功安装)_第3张图片
可以看到Scala安装成功。

1.3、Hadoop安装(version:2.7.2)

参考博文:Windows下安装Hadoop(手把手包成功安装)

二、安装Spark(version:2.4.7)

1.1.1、Spark官网下载

官网下载地址:https://archive.apache.org/dist/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz

1.1.2、Spark网盘下载

网盘下载地址:https://pan.baidu.com/s/1VyVLwnSvdMzSocj37xlErQ?pwd=yyds

1.1.3、Spark安装

本地解压spark文件,目录为 D:\bigdata\spark\2.4.7\
设置环境变量 %SPARK_HOME%
Windows下安装Spark(亲测成功安装)_第4张图片
环境变量Path添加条目%SPARK_HOME%\bin
跟上面配置环境变量一样的配置方法。
Windows下安装Spark(亲测成功安装)_第5张图片

1.2.4、验证Spark是否安装成功

为了验证Spark是否安装成功,开启一个新的cmd窗口。
输入:spark-shell
Windows下安装Spark(亲测成功安装)_第6张图片
显示上面的正常运行界面,表示本地的spark环境已搭建完成!

你可能感兴趣的:(Spark,windows,spark,大数据)