manager大数据架构

越来越火的大数据时代,人工智能开创的时代,如何管理大数据集群成为一个非常重要的问题,现今通用的大数据平台大致的架构我简单说一下,希望对大家有帮助。

大数据集群架构大概分为3层

1、管理层(也就是所谓的manager界面),这一层主要是对集群服务的管理(比如说hdfs、yarn、hive、spark、hbase、solr、hue、oozie、zookeeper等),在这一层,可以对服务进行配置,节点管理,日志下载,角色分配等。

2、控制层,这一层主要是集群服务对数据节点的控制,如namenode,hive等组件对数据节点的控制。

3、计算层,这一层主要用于存储数据以及提供datanode计算。

下面为大家提供一个框架:

manager大数据架构_第1张图片


你可能感兴趣的:(大数据部署方案)