Hadoop集群简介

Hadoop集群整体概述:

Hadoop集群包括两个集群:HDFS集群、YARN集群
两个集群逻辑上分离(两个集群互相之间没有依赖、互不影响)、通常物理上在一起(某些角色进程往往部署在同一台物理服务器上)
两个集群都是标准的主从架构集群
Hadoop集群简介_第1张图片
Hadoop集群简介_第2张图片

MapReduce算是集群吗?

MapReduce:是计算框架、代码层面的组件没有集群之说

HDFS架构概述

1)NameNode(nn):存储文件的无数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限,以及每个文件的块列表和块所在的DataNode等。
2)DataNode(dn):在本地文件系统存储文件块数据以及块数据的校验和
3)Secondary NameNode(2nn): 每隔一段时间对NameNode元数据备份

YARN架构概述

Hadoop集群简介_第3张图片

MapReduce架构概述

1)Map阶段并行处理输入数据
2)Reduce阶段对Map结果进行汇总

HDFS、YARN、MapReduce三者关系

Hadoop集群简介_第4张图片

大数据技术生态体系

Hadoop集群简介_第5张图片

推荐系统项目框架

Hadoop集群简介_第6张图片

你可能感兴趣的:(hadoop,hadoop,大数据,hdfs)