spark开发环境搭建

1、下载工具

下载开发工具luna eclipse 或者 Intellij IDEA(官网下载的 scala for eclipse如果不能用可以使用 luna)

2、安装jdk配置环境变量

建议jdk1.8,jdk版本请确定好,是64位还是32位。

(1)环境变量添加java_home,变量值写入jdk安装路径;

(2)环境变量找到path,没有则新建,变量值入%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;如果存在path注意变量值最后是否存在“;”,不存在添加之后再追加。同样注意最后的“;”

(3)环境变量找到CLASSPATH,没有则新建,变量值写入 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;

3、安装scala

安装scala的语言包,下载scala-2.10.4.msi安装并配置环境变量,环境变量与Java配置方法一样。

(1)在系统变量中添加一行,变量名写入SCALA-HOME,变量值写入Scala的安装位置;如本人配置:D:\ruanjian\sala (安装目录不得存在中文、空格等特殊字符)。
(2)因配置Java时已经配置了path,所以本次只需找到path选项,选择编译,在变量值后追加%scala_Home%\bin;%scala_Home%\jre\bin;(注意最后的分号,不可少)
(3)与path同理,所以本次只需找到classpath选项,选择编译,在变量值后追加.;%scala_Home%\bin;%scala_Home%\lib\dt.jar;%scala_Home%\lib\tools.jar.;(请注意前面的逗号和分号)。
(4)使用doc窗口,写入scala,如出现以下内容证明成功。

ip_image001.jpeg

4、下载spark1.6,并且配置spark环境变量

(1)、将spark解压至某个盘符的根目录。目录不得存在空格等特殊字符、尤其是汉字。

(2)、配置环境变量,同java配置一样,找到path,追加spark解压路径\bin。

5、安装hadoop。

下载路径https://archive.apache.org/dist/hadoop/common/如下请自行选择版本。

11.jpg

(1)、将spark解压至某个盘符的根目录。目录不得存在空格等特殊字符、尤其是汉字。

(2)、与jdk配置一样,创建HADOOP_HOME,变量值写入解压路径。

(3)、找到path,变量值追加%HADOOP_HOME%\bin;同样注意分号。

  1. 、启动doc窗口,写入spark-shell,出现以下内容就算成功。
12.jpg

6、安装maven

下载maven,下载地址http://maven.apache.org/download.cgi,并解压缩至某个指定目录

13.jpg
  1. 环境变脸配置

新建M2_HOME和MAVEN_HOME,变量值全部写入解压路径,如本人配置:D:\apache-maven-3.5.2

  1. 在path后追加:%M2_HOME%\bin;%MAVEN_HOME%\bin;
  2. 进入doc窗口,输入先后echo %M2_HOME%和mvn –v
14.jpg

(4)因eclisp已经有maevn,所以需要重新定位maven,点击Window -> Preference -> Maven -> Installation -> Add进行设置,定位至本地maevn目录即可。
(5)修改中央库位置,即maven下载jar的位置,打开maevn安装目录在conf目录下找到setting文件修改如下菜蔬;

15.jpg
  1. 修改下载源

Jar包位置、部分可能在国外,下载耗时,故而更改为阿里云。打开maevn安装目录在conf目录下找到setting文件修改如下菜蔬;

      

nexus-aliyun

*

Nexus aliyun

http://maven.aliyun.com/nexus/content/groups/public


[图片上传失败...(image-6464f8-1516025563738)]

7、安装scala

下载插件http://downloads.typesafe.com/scalaide/sdk/lithium/e47/scala212/stable/update-site.zip

(1)解压下载文件

(2)在eclisp目录下找到dropins目录,在其内部创建Scala文件夹,粘贴下载(1)中解压文件内的features和plugins。重启eclisp。

你可能感兴趣的:(spark开发环境搭建)