最新版spark-2.2.0安装教程

1.jdk的安装;(java1.8)
2.hadoop安装;(hadoop2.7.2)
3.scala安装;(scala2.11.8)
4.spark安装。(spark2.2.0)

0.环境:mac OS X 10.12
1.jdk的安装:安装java JDK1.7及以上的版本,配置好环境变量。
查看是否安装成功命令:
$: java -version

2.hadoop安装:
$: brew install hadoop
默认安装到 /usr/local/Cellar/hadoop下。 说明homebrew是mac OS 上的包管理软件。安装hadoop还需要配置ssh等,这里不重复了。

3.scala安装:安装scala 2.9.3以上版本。
(1)下载安装:

$:brew install scala

默认安装到 /usr/local/Cellar/
安装成功提示:

To use with IntelliJ, set the Scala home to:
/usr/local/opt/scala/idea

Bash completion has been installed to:
/usr/local/etc/bash_completion.d ==> Summary
/usr/local/Cellar/scala/2.11.8: 51 files, 30.9M, built in 1 minute 18 seconds

(2)配置HOME:
$:sudo nano ./etc/profile
然后输入:

export SCALA_HOME=/usr/local/Cellar/scala/2.11.8
export PATH=$PATH:$SCALA_HOME/bin

接着按control+x 推出,按Y保存,enter。

(3)返回根目录~并输入:
~$:scala
显示如下界面即安装成功:

Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java
1.8.0_91). Type in expressions for evaluation. Or try :help

4.spark安装:
(1)进入spark官网下载spark安装包:http://spark.apache.org/downloads.html
(2)安装命令:

$:sudo tar -zxf ~/Downloads/spark-2.2.0-bin-hadoop2.7.tgz /usr/local/Cellar

(3)配置环境变量:

 $:cd /usr/local/Cellar
 #修改包名,方便后续配置
 $:mv ./spark-2.2.0-bin-hadoop2.7.tgz ./spark-2.2.0   

$:sudo nano /etc/profile
#在文件中添加:


export SPARK_HOME=/usr/local/Cellar/spark-2.2.0
export PATH=$PATH:$SPARK_HOME/bin

然后进入spark的conf文件中修改配置:

 $:cd spark-2.2.0/conf
  $:cp spark-env.sh.template spark-env.sh #复制文件
  $:sudo nano spark-env.sh

#在文件中添加:

export SCALA_HOME=/usr/local/Cellar/scala-2.11.8
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4g

至此,已完成spark的安装和配置,验证way1:

 $:cd /usr/local/Cellar/spark-2.2.0/bin
 $: ./spark-shell

way2根目录下输入:

  $:spark-shell

窗口即可弹出spark标志。

*采坑:
1.安装spark采用命令行:
$:brew install spark
自动安装的spark1.0.1,尝试了想用命令行升级,没有成功,于是进官网下载最新的版本。

2.安装scala的时候,用命令brew install scala安装的,目录为:
/usr/local/Cellar/scala/2.11.8
后面在配置环境变量的时候,忘了输入2.11.8,结果一直报错,找了半天的错误才发现。

3.经验:环境变量分系统环境变量和局部环境变量,例如scala下面的scala/bin下面有个/etc/profile这是scala的局部环境变量,进入方法:cd scala/bin cd ./etc/profile
进入系统环境变量: cd /etc/profile

说明:本文的重点是安装spark,所以前面的步骤都只是一个顺序,并不是详细的安装配置过程。

你可能感兴趣的:(大数据)