安装Spark,搭建伪分布式和完全分布式(3节点)

安装Spark,搭建伪分布式和完全分布式(3节点)

  • 搭建伪分布式
  • 搭建完全分布式

搭建伪分布式

解压缩文件
tar -zxvf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module/
安装Spark,搭建伪分布式和完全分布式(3节点)_第1张图片
因为spark和hadoop的目录结构相似,都有bin和sbin目录,为了防止冲突,就不配合环境变量了
安装Spark,搭建伪分布式和完全分布式(3节点)_第2张图片
进入conf目录,对配置文件重命名
mv spark-env.sh.template spark-env.sh
安装Spark,搭建伪分布式和完全分布式(3节点)_第3张图片
进入配置文件
vi spark-env.sh
shift+G跳到最后一行
增加配置

export JAVA_HOME=/opt/module/jdk1.8.0_144
export SPARK_MASTER_HOST=bigdata2
export SPARK_MASTER_PORT=7077

安装Spark,搭建伪分布式和完全分布式(3节点)_第4张图片
slaves.template文件重命名
在这里插入图片描述
将文件最后一行的localhost改为自己的主机名
在这里插入图片描述
保存完毕之后,启动spark
jps查看进程有MasterWorker进程
安装Spark,搭建伪分布式和完全分布式(3节点)_第5张图片
然后就可以通过浏览器访问8080页面
安装Spark,搭建伪分布式和完全分布式(3节点)_第6张图片

搭建完全分布式

搭建完全分布式之前,需要把伪分布式的服务先停掉
sbin/stop-all.sh
还需要关闭防火墙与SSH免密登录

将slaves的最后一行改为想要的子节点名(ip)即可,别的都跟主节点之前的配置一样
安装Spark,搭建伪分布式和完全分布式(3节点)_第7张图片
主节点启动集群
sbin/start-all.sh
安装Spark,搭建伪分布式和完全分布式(3节点)_第8张图片
安装Spark,搭建伪分布式和完全分布式(3节点)_第9张图片
安装Spark,搭建伪分布式和完全分布式(3节点)_第10张图片

你可能感兴趣的:(Linux,spark,大数据学习)