spark windows java 本地开发环境搭建

需要三步

  1. 安装java本地环境(此步省略)
  2. 下载spark软件包
  3. 配置spark环境

直接第2步开始,下载地址是

spark windows java 本地开发环境搭建_第1张图片

 

 

http://spark.apache.org/downloads.html

 

spark windows java 本地开发环境搭建_第2张图片

 

 

https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz

 

spark windows java 本地开发环境搭建_第3张图片

 

下载完之后再本地解压,推荐7-ZIP软件解压

第3步:解压完成之后,配置环境变量

有两个环境变量需要配置

SPARK_HOME:spark解压之后的目录,不要指向到解压之后的bin目录了(不要有空格的文件夹路径)

HADOOP_HOME:没有安装hadoop,所以搭建一个模拟的hadoop环境,只需要创建一个文件夹,再文件夹中新建一个bin目录,再将winutils.exe文件放到bin目录中,配置bin上级目录为这个环境变量的值

切入到spark的bin目录,运行spark-shell.cmd 

spark windows java 本地开发环境搭建_第4张图片

Windows的spark本地开发环境就搭建好了

你可能感兴趣的:(spark)