Hadoop组成及各组件架构概述

1.Hadoop组成

        在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源调度，耦合性较大。

        在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算。

        Hadoop3.x在组成上没有变化

2.HDFS架构概述

        Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。

        （1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。

        （2）DataNode（dn）：在本地文件系统存储文件块数据，以及块数据的校验和。

        （3）Secondary NameNode（2nn）：每隔一段时间对NameNode元数据备份。

3.YARN架构概述

        Yet Another Resource Negotiator简称YARN,另一种资源协调者，是Hadoop的资源管理器。

        1）ResourceManager（RM）：整个集群资源（内存、CPU等）的老大。

        2）NodeManager（NM）：单个节点服务器资源的老大。

        3）ApplicationMaster（AM）：单个任务运行的老大。

        4）Container：容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。

说明：

        1.客户端可以有多个

        2.集群上可以运行多个ApplicationMaster

        3.每个NodeManager上可以有多个Container

4.MapReduce架构概述

        MapReduce将计算过程分为两个阶段：Map和Reduce。

        （1）Map阶段并行处理输入数据

        （2）Reduce阶段对Map结果进行汇总

 5.HDFS、YARN、MapReduce三者的关系