win10安装spark on hadoop流程

转自:https://blog.csdn.net/NJYR21/article/details/80291630

 

说明
安装步骤分为java,scala,spark和hadoop四步,以下是对我整个安装过程的记录。

一、安装JDK
官网下载了8u172版本。点击打开链接

安装完毕以后,添加环境变量JAVA_HOME、增加环境变量path路径。

打开cmd键入java -version,看到如下界面说明java安装成功。

二、安装scala
官网下载了msi格式,并安装成功。点击打开链接

增加path环境变量路径

打开cmd键入scala,出现如下图片说明配置成功。

三、安装spark
官网下载最新版本。点击打开链接

下载完毕后,解压在某全英文目录下。

添加环境变量SPARK_HOME,添加环境变量path路径。

打开cmd键入spark-shell,看到如下图片说明spark配置成功。

此时会出现一个hadoop错误,可以忽略,等到hadoop配置完毕既能解决。

四、安装hadoop
官网下载hadoop 2.8.3。点击打开链接

下载完毕后解压到某一全英文目录下。

添加环境变量HADOOP_HOME,添加环境变量path路径。

因为bin目录缺少winutils.exe,所以去git上下载相应版本的bin替换即可。点击打开链接

打开cmd键入spark-shell,可以看到scala、java的版本,spark自此配置成功。


--------------------- 
作者:NJYR21 
来源:CSDN 
原文:https://blog.csdn.net/NJYR21/article/details/80291630 
版权声明:本文为博主原创文章,转载请附上博文链接!

你可能感兴趣的:(hadoop,spark,scala)