Hadoop之HDFS架构（NameNode和DataNode）

HDFS架构--NameNode

NameNode是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的命名空间以及客户端对文件的访问。

文件操作，NameNode负责文件元数据的操作，DataNode负责处理文件内容的读写请求，跟文件内容相关的数据流不经过NameNode，只会询问它跟那个DataNode联系，否则NameNode将会成为系统的瓶颈

副本存放在哪些DataNode上由NameNode来控制，根据全局情况做出块放置决定，读取文件时NameNode尽量让用户先读取最近的副本，降低带块消耗的读取时延。

NameNode全权管理数据块的复制，它周期性的从集群中的没个DataNode接受心跳号和块状态报告。接收到心跳信号意味着该DataNode节点工作正常。块状态报告包含了一个该DataNode上所有数据块的列表。

HDFS架构--DataNode

一个数据块在DataNode以文件存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

DataNode启动后想NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。

心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用

集群运行中可以安全加入或退出一些机器

 

以上就是Hadoop之HDFS架构（NameNode和DataNode）全部内容了。参考了，云帆大数据视频课程。如果有错误或问题，评论留言一起积极讨论。