Win 10 安装Spark

  1. 配置Jdk
    安装java1.8
    配置路径
    CLASSPATH
    .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
    在这里插入图片描述

JAVA_HOME
D:\java\jdk1.8.0_181
这个路径中一定不要包含空格
在这里插入图片描述

Path
%JAVA_HOME%\bin
Win 10 安装Spark_第1张图片
2. 配置Hadoop
下载版本
https://download.csdn.net/download/hljczm/85293508
将包中的文件winutils.exe和hadoop.dll放到以下两个目录下
C:\Windows\System32
D:\work\tools\hadoop-2.7.7\bin —为你解压后的bin目录

配置环境变量
HADOOP_HOME
D:\work\tools\hadoop-2.7.7
在这里插入图片描述
配置path
包括bin和sbin
![在这里插入图片描述](https://img-blog.csdnimg.cn/0492cd2065fb4a0e89a4ccb8bbce9457.png在这里插入图片描述

  1. 配置Spark
    下载版本
    https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.3/spark-3.1.3-bin-hadoop2.7.tgz

配置环境变量
Win 10 安装Spark_第2张图片在这里插入图片描述
可能会出现的问题
1、null\bin\winutils.exe
把包中对应的文件放到系统目录中,以及hadoop的bin目录下
Win 10 安装Spark_第3张图片

2、版本不一致导致的问题,使用文档中的对应的版本,就不会出现该问题
Win 10 安装Spark_第4张图片

你可能感兴趣的:(spark,hadoop)