资源管理(大数据):Zookeeper、 Yarn简介、原理

https://blog.csdn.net/wzk646795873/article/details/79583218

Zookeeper

Zookeeper是一个分布式协调服务,一个leader,多个follower组成的集群,就是为用户的分布式应用程序提供协调服务。

Zookeeper是为别的分布式程序服务的。

Zookeeper所提供的服务涵盖:主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等。


Yarn

Yarn目标:YARN的目标就是实现“一个集群多个框架”,即在一个集群上部署一个统一的资源调度管理框架YARN,在YARN之上可以部署其他各种计算框架。

由YARN为这些计算框架提供统一的资源调度管理服务,并且能够根据各种计算框架的负载需求,调整各自占用的资源,实现集群资源共享和资源弹性收缩。

可以实现一个集群上的不同应用负载混搭,有效提高了集群的利用率。

不同计算框架可以共享底层存储,避免了数据集跨集群移动。

组成:


Resource Manager:

是一个全局的资源管理器,负责整个系统的资源管理和分配,主要包括两个组件,即调度器(Scheduler)和应用程序管理器(Applications Manager)。调度器接收AM应用资源请求,并把动态资源以容器(Container)分配。

AManager负责应用管理工作,主要包括应用程序提交、与调度器协商资源以启动AMaster、监控AMaster运行状态、并在失败时重新启动。

(1) 处理客户端请求。

(2) 启动/监控ApplicationMaster。

(3) 监控NodeManager。

(4) 资源分配与调度。

备注: ApplicationMaster,可为应用程序申请资源,并分配给内存服务;任务调度、监控与容错。

NodeManager:

(1)单个节点上的资源管理。

(2)处理Application Master或ResourceManager的命令。

备注:容器生命周期管理、监控每个容器的资源(CPU、内存等)使用情况、以心跳的形式与ResourceManager保持通信。
---------------------
作者:BigSun0
来源:CSDN
原文:https://blog.csdn.net/wzk646795873/article/details/79583218
版权声明:本文为博主原创文章,转载请附上博文链接!

你可能感兴趣的:(云计算,大数据)