Hadoop HDFS体系概述

HDFS是Hadoop的核心模块,Hadoop体系结构主要通过HDFS来实现分布式存储,

HDFS的体系结构,采用主从(Master/Slave)结构模型。一个HDFS集群由一个NameNode和若干个DataNode组成。

其中NameNode作为主服务器,管理文件系统的命名空间和处理客户端的文件读写操作。集群中的DataNode管理

存储的数据。

——HDFS中的Namenode主节点

Hadoop HDFS体系概述_第1张图片

 

——HDFS中的Datanode节点

Hadoop HDFS体系概述_第2张图片

 

当文件进行存储时,文件被划分为若干个数据块,并且这些数据块会被放在集群的各个节点(DataNode)上。

  • NameNode执行文件系统的命名空间操作,比如打开,关闭文件目录等,负责数据块到具体DataNode的映射
  • DataNode负责处理文件系统客户端的文件读写请求,并在NameNode的统一调度下进行数据块的创建,删除等操作

NameNode和DataNode都被设计成可以在普通计算机上运行的结构。一个典型的部署场景时集群中的一台机器运行一个

NameNode实例,其它机器分别运行着DataNode实例,而NameNode是所有HDFS元数据的管理者

Hadoop HDFS体系概述_第3张图片

 

 

你可能感兴趣的:(分布式计算,后端开发)