Spark-安装配置：伪分布式安装和全分布式安装

0.准备工作：安装JDK，配置主机名，免密登陆

一.伪分布模式搭建：

1.解压

tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module

2.修改配置文件：

(1)修改spark-env.sh

重命名(拷贝)：

cd /opt/module/spark-2.1.0-bin-hadoop2.7/conf

cp spark-env.sh.template spark-env.sh

修改：

vi spark-env.sh

修改内容：

export JAVA_HOME=/opt/module/jdk1.8.0_144 
export SPARK_MASTER_HOST=hadoop1
export SPARK_MASTER_PORT=7077

//下面的可以不写，默认
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1024m

(2)修改slaves

cp slaves.template slaves 

修改：

cd /opt/module/spark-2.1.0-bin-hadoop2.7/conf

vi slaves

修改内容：

hadoop1

二.全分布模式安装：

1.解压

tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module

2.修改配置文件：

(1)修改spark-env.sh

重命名(拷贝)：

cd /opt/module/spark-2.1.0-bin-hadoop2.7/conf

cp spark-env.sh.template spark-env.sh

修改：

vi spark-env.sh

修改内容：

export JAVA_HOME=/opt/module/jdk1.8.0_144 
export SPARK_MASTER_HOST=hadoop1
export SPARK_MASTER_PORT=7077

//下面的可以不写，默认
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1024m

(2)修改slaves

cp slaves.template slaves 

修改：

vi slaves

修改内容：

hadoop2
hadoop3

3.发送到另外两台服务器：

scp -r spark-2.1.0-bin-hadoop2.7/ root@hadoop2:/opt/module/

scp -r spark-2.1.0-bin-hadoop2.7/ root@hadoop3:/opt/module/

4.启动：

hadoop1:

cd /opt/module/spark-2.1.0-bin-hadoop2.7

sbin/start-all.sh

5.验证：

浏览器输入hadoop1IP地址：192.168.1.121:8080