Spark 集群搭建

前提条件：

1.虚拟机3台【master, node1, node2 】

2.安装好JDK

3.安装好Hadoop

spark 集群搭建步骤

1.安装Scala

==============================================

到官网下载Hadoop 对应版本的Scala 我的是Hadoop2.2.0的版本 对应的Scala 如图

Scala

解压 tar  -zxvf ***************

在、/etc/profile 文件添加路径 然后source /etc/profile

添加的类容

2。安装spark

下载Hadoop 所对应的版本

我的是Hadoop 2.2.0 所以安装的是spark2.0.0的

spark

解压 tar  -zxvf ***************

在、/etc/profile 文件添加路径 然后source /etc/profile

添加的类容

修改spark/conf的文件

这是经过修改好的 第一次安装不是这样的

在slaves 文件添加你的数据节点 node1 node2

在spark-env.sh 添加以下

够详细了吧

分发到每个数据节点上

scp -r /home/app/spark/ slave1:/home/app/spark

修改每个节点的/etc/profile文件 在后source  /etc/profile

之后在每个节点执行 spark-shell 测试一下是否安装成功

然后用web 访问spark集群 在地址栏输入 http://master:4040 [master 是主节点的主机名，也可以是你主节点的ip 只要你修改hostname 为master 也是可以的

看图吧 骚年们

ps 要想查看集群spark 先在主节点执行spark-shell 知道吗 先执行spark-shell

spark 搞起啊

executors