Spark Windows开发环境搭建

1、配置Java开发环境,下载JDK8.0版本(jdk1.8.0以上版本),JDK(全称是JavaTM Platform Standard Edition Development Kit)的安装,下载地址是Java SE Downloads,一般进入页面后,会默认显示一个最新版的JDK,如下图所示,当前最新版本是JDK 8,更为详细具体的地址是Java SE Development Kit 8 Downloads:

   安装完成后,设置JAVA_HOME和Path环境变量。

2、安装Scala,windows平台下面选择msi版本,这里安装版本为2.12.0版本 , 下载地址:https://downloads.lightbend.com/scala/2.12.0/scala-2.12.0.msi 。

3、安装Spark,可以下载编译好的版本spark-2.3.0-bin-hadoop2.7,下载地址:http://mirrors.shu.edu.cn/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz    , 直接解压到安装目录,设置环境变量
PATH和SPARK_HOME,PATH 添加为spark安装目录下的bin目录,SPARK_HOME设置为spark安装目录。

4、安装Hadoop,安装版本为2.7.1版本,下载路径:https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/    ,如果提示缺


参考: http://blog.csdn.net/u011513853/article/details/52865076

http://blog.csdn.net/u011669700/article/details/54615010

你可能感兴趣的:(Spark Windows开发环境搭建)