Hadoop集群搭建模式和各模式问题

文章目录

    • 分布式集群的通用问题
    • 集群的搭建的集中通用模式
      • 1、单机模式
      • 2、伪分布式模式(搭建在了只有一个节点的集群中)
      • 3、分布式模式
      • 4、高可用模式
      • 5、联邦模式

分布式集群的通用问题

当前的HDFS和YARN都是一主多从的分布式架构,主从节点—管理者和工作者

问题:如果主节点或是管理者宕机了。会出现什么问题?

群龙无首,整个集群不可用。所以在一主多从的架构中都会有一个通用的问题:

当集群中的主节点宕机之后,整个集群不可用。这个现象叫做:单点故障。SPOF

单点故障讲述的概念有两点
1、如果说宕机的那个节点是从节点,那么整个集群能够继续运行,并且对外提供正常的服务。

2、如果说宕机的那个节点是主节点,那么整个集群就处于宕机状态。

通用的解决方案:高可用

概念:当正在对外提供服务器的主从节点宕机,那么备用的主节点立马上位对外提供服务。无缝的瞬时切换。

集群的搭建的集中通用模式

1、单机模式

表示所有的分布式系统都是单机的。

2、伪分布式模式(搭建在了只有一个节点的集群中)

表示集群中的所有角色都分配给了一个节点。

表示整个集群被安装在了只有一个节点的集群中的。

主要用于做快速使用,去模拟分布式的效果。

3、分布式模式

表示集群中的节点会被分配成很多种角色,分散在整个集群中。

主要用于学习测试等等一些场景中。

4、高可用模式

表示整个集群中的主节点会有多个

注意区分:能够对外提供服务的主节点还是只有一个。其他的主节点全部处于一个热备的状态。

正在对外提供服务的主节点:active 有且仅有一个

热备的主节点:standby 可以有多个

工作模式:1、在任意时刻,只有一个主节点是active的,active的主节点对外提供服务

2、在任意时刻,都应至少有一个standby的主节点,等待active的宕机来进行接替

架构模式:就是为了解决分布式集群中的通用问题SPOF

不管是分布式架构还是高可用架构,都存在一个问题:主从结构—从节点数量太多了。最直观的的问题:造成主节点的工作压力过载,主节点会宕机,当前的这种现象是一种死循环

5、联邦模式

表示当前集群中的主从节点都可以有很多个。

1)主节点:可以有很多个的意思是说:同时对外提供服务的主节点有很多个。

重点:每一个主节点都是用来管理整个集群中的一部分

2)从节点:一定会有很多个。

在联邦模式下还是会有问题:

虽然这个集群中的一个主节点的压力被分摊到了多个主节点。但是这个多个主节点依然会有一个问题:SOFP

你可能感兴趣的:(大数据,大数据,hadoop)