安装spark笔记

centOS 

 准备三台机器 hadoop-1,hadoop-2,hadoop-3

提前安装好 jdk，python,host name,ssh

 

安装scala

下载 scala rpm包

在/home/${user}/soft/下

wget http://www.scala-lang.org/files/archive/scala-2.9.3.rpm（不使用，安装后没找到安装后目录）

rpm -ivh scala-2.9.3.rpm

在http://www.scala-lang.org/download/all.html下挑一个稳定版本下载

解压 tar -zxvf scala包

添加scala环境变量

在/etc/profile结尾增加

export SCALA_HOME=/home/${user}/soft/scala

export PATH=$PATH:$SCALA_HOME/bin

让配置文件立即生效

source /etc/profile

 

验证scala安装

scala -version

scala

9*9

res0: Int = 81

 

安装 spark

 

获取spark包

wget http://mirror.bit.edu.cn/apache/spark/spark-1.5.2/spark-1.5.2.tgz（错误需要用编译后的包）

在/home/${user}/soft/下

wget http://mirror.bit.edu.cn/apache/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz

解压 tar -zxvf spark-1.5.2-bin-hadoop2.6.tgz

 

添加spark环境变量

在/etc/profile结尾增加

export SPARK_HOME=/home/${user}/soft/spark-1.5.2-bin-hadoop2.6

export PATH=$PATH:$SPARK_HOME/bin

让配置文件立即生效

source /etc/profile

 

修改spark配置

修改spark-env配置

复制文件 cp spark-env.sh.template spark-env.sh

修改spark-env.sh

#scala

export SCALA_HOME=/home/${user}/soft/scala

#jdk
export JAVA_HOME=/usr/java/jdk1.7.0_51

#master结点ip
export SPARK_MASTER_IP=10.171.29.191

#结点工作用内存
export SPARK_WORKER_MEMORY=512m 

 

配置conf文件下slaves

cp slaves.template slaves

编辑slaves

添加

hadoop-1

hadoop-2

hadoop-3

 

分发到其他机器

将配置好的scala和hadoop目录scp到其他的机器 hadoop-2和hadoop-3。

 

启动spark

执行sbin目录下start-all.sh

 

验证spark环境

$ bin/run-example  org.apache.spark.examples.SparkPi

查看http://hadoop-1:8080/

 

启动spark-shell

查看http://hadoop-1:4040/jobs/