Window下的Spark开发环境配置

Window的Spark环境配置分三步:

1. Hadoop下载与配置

   下载:http://archive.apache.org/dist/hadoop/core/,比如hadoop-2.6.0版本

    配置:配置HADOOP_HOME到环境变量,cmd -> hadoop version命令查看是否配置成功。

    设置:hadoop-2.6.0\etc\hadoop\hadoop-env.cmd 中设置JAVA_HOME的路径。

2. Spark-hadoop下载与配置

    下载:http://spark.apache.org/downloads.html,比如spark-assembly-1.6.0-hadoop2.6.0版本。

     配置:idea中导入spark-1.6.0-bin-hadoop2.6\lib下的jar,主要是spark-assembly-1.6.0-hadoop2.6.0包。

3. Scala下载与配置

     下载:http://www.scala-lang.org/download/2.10.6.html,比如scala-2.10.6版本,解压安装即可。

      配置:idea的全局变量中Scala SDK的选择system的scala-2.10.6版本。

注意:hadoop, Spark-hadoop和Scala的版本必须配套使用!新建scala的maven项目时,pom.xml中scala的版本要改为2.10.6版本。

  

 

你可能感兴趣的:(spark,scala)