Windows下搭建spark环境

Windows下搭建spark环境

【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】

参考文章：
Spark在Windows环境是如何搭建的

运行环境：
Win10 64位
Jdk 1.8.0_171
Scala 2.11.12
Hadoop 2.7.3
Winutils.exe

一：JDK的安装与环境变量的配置

1.下载并安装jdk
到官网找到自己想要下载的jdk下载其windows版本
双击下载到自己要安装的目录下

2.jdk的环境变量配置
此电脑(右击)------>点击“属性” ------>点击”高级系统设置”------>点击”环境变量”------>在系统变量中新建

----->在PATH中添加环境变量

3.这样设置好后，便可以在任意目录下打开的cmd命令行窗口下运行下面命令。查看是否设置成功。

java -veriosn

二: Scala的安装与环境变量的配置

1.下载scala
从官网下载Scala
此处版本为scala-2.11.12

2.Scala的环境变量配置
在path下添加scala安装的目录下的bin

3. 这样设置好后，便可以在任意目录下打开的cmd命令行窗口下运行下面命令。查看是否设置成功。

输入scala           #显示版本进入scala编写

三: Hadoop安装与环境变量配置

1.下载hadoop
到官网下载你所需要版本hadoop

2.hadoop环境变量的配置
参考jdk与scala配置过程

3. 这样设置好后，便可以在任意目录下打开的cmd命令行窗口下运行下面命令。查看是否设置成功。

hadoop -version

4.下载winutils.exe(这个文件是模拟hadoop的运行环境)
到GitHub选择你安装的Hadoop版本号，然后进入到bin目录下，找到winutils.exe文件

下载好之后放入hadoop的bin目录下

四: Spark的安装与环境变量的配置

1.下载所需版本spark
到官网
这里是spark2.3.2

找到想要下载对应版本号

2.存放Spark的文件夹右击属性取消只读不然会出错

3.Spark环境变量的配置
参考jdk与scala配置过程

4. 这样设置好后，便可以在任意目录下打开的cmd命令行窗口下运行下面命令。查看是否设置成功。

spark-shell 

【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】