大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode

HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode(管理者)和多个DataNode(工作者)。

HDFS官方架构图

一、NameNode（NN）

——基于内存存储 ：不会和磁盘发生交换

·只存在内存中

·持久化

——NameNode主要功能

·接受客户端的读写服务

·收集DataNode汇报的Block列表信息

——NameNode保存metadata信息包括

·文件owership和permissions

·文件大小，时间

·（Block列表：Block偏移量），位置信息

·Block每副本位置（由DataNode上报）

二、NameNode持久化

——NameNode的metadate信息在启动后会加载到内存

——metadata存储到磁盘文件名为”fsimage”

——Block的位置信息不会保存到fsimage

——edits记录对metadata的操作日志。。。redis

三、DataNode（DN）

——本地磁盘目录存储数据（Block），文件形式

——同时存储Block的元数据信息文件

——启动DN时会向NN汇报block信息

——通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN

为回馈大家，想要学习java、Java架构、大数据等技术的朋友，可以加我微信好友Nancy007001，免费提供录播资料供大家学习。

感谢大家的支持！！！

本文为原创作品，禁止转载！