Hadoop分布式文件系统(HDFS)

Hadoop分布式文件系统(HDFS)

HDFS是Hadoop Distributed File System的简称,意为:Hadoop分布式文件系统。
是Hadoop核心组件之一,作为最底层的分布式存储服务而存在。
分布式文件系统解决的问题就是大数据存储。
它是横跨在多台计算机上的存储系统。

块数据

Hadoop分布式文件系统(HDFS)_第1张图片

主从架构

HDFS采用master/slave(主从)架构。一般一个HDFS集群是由一个Namenode和一定数目的Datanode组成。Namenode是HDFS集群主节点,Datanode是HDFS集群从节点,两种角色各司其职,共同协调完成分布式的文件存储服务。
Hadoop分布式文件系统(HDFS)_第2张图片
Hadoop分布式文件系统(HDFS)_第3张图片

NameNode工作机制

下图为名称节点和辅助名称节点的运作状态:

内存元数据(内存meta data)、磁盘元数据镜像文件(fsimage)、操作日志文件(edits)

DataNode工作机制

存储管理用户的文件块数据
定期向NameNode汇报自身所持有的block信息(通过心跳信息上报)

DataNode会定期(dfs.heartbeat.interval)向NameNode发送心跳,如果DataNode进程死亡或者网络故障造成DataNode无法与NameNode通信,NameNode不会立即把该DataNode节点判定为死亡,而是要经过一段时间,这段时间称作超时时长。

安全模式

在启动的时候,名称节点进入一个叫做安全模式的特殊状态。在这个模式下,意味着名称节点的文件系统对于客户端来说是只读的。

$>hdfs dfsadmin -safemode enter //进入
$>hdfs dfsadmin -safemode leave //离开(退出安全模式)
$>hdfs dfsadmin -safemode get //获取当前安全模式状态
$>hdfs dfsadmin -safemode wait //等待(先退出安全模式)

查看安全模式是否开启
Hadoop分布式文件系统(HDFS)_第4张图片
进入安全模式
在这里插入图片描述
退出安全模式
在这里插入图片描述

dfsadmin工具

dfsadmin工具用途较广,既可以查找HDFS状态信息,又可以在HDFS上执行管理操作。以hdfs dfsadmin形式调用,且需要超级用户权限。
Hadoop分布式文件系统(HDFS)_第5张图片
Hadoop分布式文件系统(HDFS)_第6张图片
$>hdfs dfsadmin -report命令查看和下图WebUI查看内容一致
Hadoop分布式文件系统(HDFS)_第7张图片
Hadoop分布式文件系统(HDFS)_第8张图片

$>hdfs dfsadmin -fetchImage 从namenode节点获取最新的fsimage文件至本地指定目录

命令要在datanode节点上执行
在datanode节点看不到最新的fsimage文件,通过指令可以在datanode节点下查看到最新的fsimage文件,(namenode节点是可以查看到最新的fsimage)

$> hdfs oiv -p XML -i fsimage_0000000000000000xxx -o ~/Desktop/fsimage.xml

下载到本地之后通过cat查看是乱码(关闭窗口),通过指令将fsimage保存为xml文件,双击打开(windows)

你可能感兴趣的:(Hadoop分布式文件系统(HDFS))