win10安装spark流程

win10安装spark流程

说明

安装步骤分为java，scala，spark和hadoop四步，以下是对我整个安装过程的记录。

一、安装JDK

官网下载了8u172版本。点击打开链接

安装完毕以后，添加环境变量JAVA_HOME、增加环境变量path路径。

打开cmd键入java -version，看到如下界面说明java安装成功。

二、安装scala

官网下载了msi格式，并安装成功。点击打开链接

增加path环境变量路径

打开cmd键入scala，出现如下图片说明配置成功。

三、安装spark

官网下载最新版本。点击打开链接

下载完毕后，解压在某全英文目录下。

添加环境变量SPARK_HOME，添加环境变量path路径。

打开cmd键入spark-shell，看到如下图片说明spark配置成功。

此时会出现一个hadoop错误，可以忽略，等到hadoop配置完毕既能解决。

四、安装hadoop

官网下载hadoop 2.8.3。点击打开链接

下载完毕后解压到某一全英文目录下。

添加环境变量HADOOP_HOME，添加环境变量path路径。

因为bin目录缺少winutils.exe，所以去git上下载相应版本的bin替换即可。点击打开链接

打开cmd键入spark-shell，可以看到scala、java的版本，spark自此配置成功。