Spark在Win10下的环境搭建

前言

本章将介绍如何在WIN10下实现spark环境搭建。

本章概要

1、版本说明

2、环境准备：

• jdk配置；
• scala安装与配置；
• spark安装与配置；
• hadoop安装与配置；

版本说明

jdk：1.8

scala：2.11.8

spark：2.3.0

hadoop：2.8.3

环境准备

jdk配置

1、配置JAVA_HOME与Path：

Path

2、验证配置：

scala安装与配置

1、scala下载：

访问官方地址 http://www.scala-lang.org/download/2.11.8.html

2、配置Path：

3、验证配置：

Spark安装与配置

1、spark下载：

访问官方地址 http://spark.apache.org/downloads.html

选中官方推荐的地址即可下载，其他地址也可用（建议采用迅雷等下载工具下载，速度比较会快很多）

2、解压至D盘；

3、配置Path：

4、通过spark-shell进入Spark的交互式命令行模式：

如上，可以看到对应的spark、scala、java版本，同时也看到了异常信息，该异常信息是由于hadoop导致的，下面来配置hadoop。

Hadoop安装与配置

1、hadoop下载

访问官方 http://hadoop.apache.org/releases.html

进入下载页，如下建议地址（同样建议用迅雷等下载工具下载，速度更快）

2、解压至

3、配置HADOOP_HOME&Path：

path：

4、winutils下载： https://github.com/steveloughran/winutils

下载对应版本的bin目录直接替换本地bin目录即可。

5、此时继续spark-shell进入spark命令行交互模式：

此时即不会出现上述的异常提示。

6、访问控制台中的webui如下：