大数据（二）-----Spark安装

阅读更多

1.安装规划

    见 【大数据（一）-----HADOOP安装】

2.scala安装

• 在10.112.171.47机器上安装scala，安装目录为/usr/scala/scala-2.11.8
• 配置环境变量

vi /etc/profile
#在文件中添加如下脚本
export SCALA_HOME=/usr/scala/scala-2.11.8
#在PATH中加入如下脚本
$SPARK_HOME/bin
#保存后刷新配置
source /etc/profile

•  将scala拷贝到其他机器的同级目录下，并设置一样的环境变量

3.spark安装

• 在10.112.171.47机器上安装spark，安装目录为 /home/hadoop/spark-2.0.1-bin-hadoop2.7
• 配置环境变量

#配置环境变量
vi /etc/profile
#在文件中加入如下脚本
export SPARK_HOME=/home/hadoop/spark-2.0.1-bin-hadoop2.7
#在PATH中加入如下脚本
$SPARK_HOME/bin
#保存后刷新配置
source /etc/profile

•  设置spark主节点

cd /home/hadoop/spark-2.0.1-bin-hadoop2.7/conf
vi spark-env.sh
#在文件中添加主控节点配置
export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_WORKER_MEMORY=2g
export SPARK_MASTER_IP=10.112.171.47
export MASTER=spark://10.112.171.47:7077
HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.2/etc/hadoop

•  配置slave节点

vi slaves
#在文件中添加如下IP配置
10.112.171.48
10.112.171.49
10.112.171.50
10.112.171.51

•  将spark拷贝到其他机器的同级目录下，并设置一样的环境变量

4.spark启动

• 在10.112.171.47主节点上启动spark

cd /home/hadoop/spark-2.0.1-bin-hadoop2.7/sbin
./start-all.sh

•  启动spark-shell运行任务

cd /home/hadoop/spark-2.0.1-bin-hadoop2.7/bin
./spark-shell

•  启动成功后，可以在http://10.112.171.47:4040查看任务状态