Spark Standalone 模式的安装和部署 第1关: Standalone 分布式集群搭建

我们已经掌握了 Spark 单机版安装,那么分布式集群怎么搭建呢? 接下来我们学习 Standalone 分布式集群搭建。

课程视频

如果你需要在本地配置 Spark 完全分布式环境,可以通过查看课程视频来学习。

课程视频《Spark配置文件设置》

Spark分布式安装模式

Spark 分布式环境安装目前有四种模式:

1.Standalone:Spark 自带的简单群资源管理器,安装较为简单,不需要依赖 Hadoop;

2.Hadoop YARN:使用 YARN 作为集群资源管理,安装需要依赖 Hadoop;

3.Apache Mesos:不常用;

4.Kubernetes:不常用。

本地学习测试我们常用 Standalone 模式,生产环境常使用 YARN 模式。

示例集群信息

以下表格为本教程所用示例集群节点信息:

节点名称 节点角色
master worker,master
slave1 worker
slave2 worker

我们准备了三台虚拟服务器,连接方式如下:

服务器 SSH 密码
master ssh -p 19001 root@localhost 123456
slave1 ssh -p 19

你可能感兴趣的:(Educoder,hadoop,分布式,spark,大数据)