HDFS主从结构

HDFS

主从架构

• HDFS集群是标准的master/slave主从架构集群

• 一般一个HDFS集群是有一个Namenodeh和一定数目的Datanode组成

• Namenode是HDFS主节点，Datanode是HDFS从节点，两种角色各司其职，共同协调完成分布式的文件存储

分块存储

• HDFS中的文件在物理上是分块存储的，默认大小是128M，不足128M则本身就是一块
• 块的大小可以通过配置参数来规定，参数位于hdfs-default.xml中：dfs.blocksize

副本机制

• 文件的所有block都会有副本。副本系数可以在文件创建的时候指定，也可以在之后通过命令改变。
• 副本数由参数dfs.replication控制，默认值是3，也就是会额外在复制2份，连同本身总共3份副本

元数据管理

• HDFS中，Namenode管理的元数据具有两种类型：

• 文件自身属性信息

  文件名称、权限、修改时间、文件大小、复制因子、数据块大小

• 文件块位置映射信息

  记录文件块和datanode之间的映射信息，即哪个块位于哪个节点上

namespace

• HDFS支持传统的层次型文件组织结构

• Namenode负责维护文件系统的namespace名称空间，任何对文件系统名称空间或属性的修改都将被Namenode记录下来

• HDFS会给客服端提供一个统一的抽象目录树。

数据块存储

• 文件的各个block的具体存储管理有DataNode节点承担
• 每个block都可以在多个DataNode上存储

查看文件系统

hadoop fs -ls file：///  ：代表查看本地文件系统

hadoop fs -ls hdfs://master:8020/ :查看的HDFS文件系统的根目录下

<扩展>参数说明

• 可以通过hadoop fs -help命令来查看每个命令的详细用法