window下spark的安装和开发环境配置

全栈工程师开发手册 (作者:栾鹏)

python数据挖掘系列教程

由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spark的安装,Hadoop的下载和配置。

安装java

安装oracle下的jdk,我安装的是jdk 1.8的64位,这里必须安装64位的,是为了和hadoop对应,全部按照默认选项进行安装。安装完后配置环境变量。

新建JAVA_HOME为C:\Program Files\Java\jdk1.8.0_161  视自己安装路劲而定
新建CLASSPATH为%JAVA_HOME%\lib
在系统变量Path下添加%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin

安装hadoop

hadoop安

你可能感兴趣的:(大数据,系列课程,快速学习实战应用)