Hadoop的各个启动进程介绍

守护进程：NameNode，DataNode，ResourceManager，NodeManager，JournalNode，DFSZKFailoverController等

备注：本文截图出自数据《Hadoop权威指南_第四版_中文版.pdf》和官网（地址：https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html）（本人使用：hadoop2.7.3讲解，其他2.0版本大致类似，不同版本的官网地址：https://hadoop.apache.org/docs  进入请自行选择）

基于：https://blog.csdn.net/weixin_39435629/article/details/84841263

启动的hadoop的守护进程：

 

所属HDFS (Hadoop Distributed Filesystem)：

一、NameNode  名称节点

、

作用：

1、管理DataNode，维护的所有的文件和目录，这些文件已命名空间镜像文件（images）和编辑日志文件（edits）永久保存在本地磁盘上。

2、记录每个文件所在的数据节点信息，但并不永久保存，系统启动时，这些节点信息会重建

 

二、DataNode 数据节点

作用：

1、存储并检索数据块，受客户端（client）或namenode调度

2、定期向namenode发送所存储的块的信息

 

三、ResourceManager    资源管理器

作用：

1、管理集群上资源（HDFS中存储的数据）的使用

 

四、NodeManager  节点管理器

作用：

1、运行在集群中所有节点上且能够启动和监控容器（container）

 

五、JournalNode

作用：

1、共享激活名称节点（active）与待命名称节点（standby）之间的日志

eg:

 

六、DFSZKFailoverController（简称：ZKFC）

作用：（汇总：监控和管理NameNode）

1、健康监测------检测NameNode的状态

2、会话管理-----当本地NameNode是健康的，ZKFC在管理员中打开一个会话。如果本地NameNode是活动的，它还持有一个特殊的“锁”znode。此锁使ZooKeeper对这个节点的支持（及关于namenode的任何操作由该节点执行）;如果会话过期，锁节点将被自动删除

3、基于zookeeper选择新的active节点--------当active节点出现问题时，基于zookeeper做节点之间的状态转换（active节点变为standby节点，standby节点激活为active节点）

备注：本文中关于的HA配置的节点，仅仅基于HDFS的HA配置，MR的HA配置类似，可进入官网自行查看