win10中spark环境的配置

使用的软件版本：

jdk使用的1.8

winutils 为从 这里：

https://github.com/steveloughran/winutils

下载的相应版本的

1、先配置JDK环境，在环境变量中配置好 JAVA_HOME，CLASSPATH，PATH中添加上%JAVA_HOME%\bin，%JAVA_HOME%\jre\bin，需要注意的是，jdk的路径中不要出现空格，否则下面执行spark-shell的时候会找不到文件。

配置好后执行 java  javac  java -version 命令验证java是否安装成功

2、安装scala，直接双击安装即可，最好路径中也不要有空格，为了防止各种奇怪的错误，下面安装的软件路径中都不要有空格。配置SCALA_HOME 环境变量，并在PATH中添加 %SCALA_HOME%\bin  ，配置好后 在cmd中执行 scala或者 scala -version验证是否安装成功

3、安装spark，将下载的spark软件解压即可，然后配置环境变量 SPARK_HOME,并在PATH中配置

4、安装hadoop，将下载的hadoop软件解压即可，然后配置环境变量 HADOOP_HOME,并在PATH中配置

5、将下载的winutils.exe 放到 hadoop的bin文件夹中

6、在cmd 中执行 spark-shell 验证是否安装有问题。

 

在这里记录一个粗心的问题：最简单的java的路径的安装的时候，犯了一个错误，配置JAVA_HOME的时候没有定位到jdk那一级目录，真是粗心大意，结果导致后面无论怎么弄路径或者换版本都在执行spark-shell的时候出现找不到文件的错误。