一、Hadoop的结构概述

Hadoop的组成结构体

主要四个部分分别负责不同的功能，实现解耦，功能隔离

 

一、HDFS:Hadoop Distracted File System 分布式文件系统，

其架构如下：

主要包括以下三个部分：

1. DataNode: 数据节点，用来存储数据，负责数据的读写操作和复制操作，相当于我们书本内容
2. NameNode： 存储了数据块的 文件名，大小，位置等详细信息，相当于我们的目录
3. Secondary NameNode：定时与NameNode进行同步（定期合并文件系统镜像和编辑日志，然后把合并后的传给NameNode，替换其镜像，并清空编辑日志，类似于CheckPoint机制），但NameNode失效后仍需要手工将其设置成主机。

二、Yarn

其架构图如下：

主要包括以下四个部分：

1. ResourceManager: 全局资源管理和任务调度
2. NodeManager: 单个节点的资源管理和监控
3. ApplicationMaster: 单个作业的资源管理和任务监控
4. Container: 资源申请的单位和任务运行的容器

三、MapReduce

其架构如下：

主要包含两个部分：

1. Map：将数据分给若干个节点处理
2. Reduce：将若干个节点的处理结果进行汇总