HDFS核心理论学习记录

标题HDFS理论学习第一天

一、HDFS优缺点

1、优点

  • 高容错性:数据会保存多个副本
  • 适合处理大数据:能够处理GB,TB甚至PB级别的数据
  • 能够处理百万规模的数据数据
  • 廉价不吃配置

2、缺点

  • 不适合低延时数据访问,文件存储是放在磁盘中读取会有额外io时间。
  • 无法高效对大量小文件进行存储
  • 大量小文件会增加namenode的元数据信息(块信息和文件目录)会增加寻址时间。
  • 不支持并发写入只能单线程写。且仅支持在文件末尾追加数据不支持修改。
HDFS的容错机制

hdfs是一个分布式的文件系统,用于存储文件,通过目录树来定位文件;

HDFS的容错机制
HDFS 容错指的是集群部分机器宕机了,集群依然可以正常提供服务的能力。HDFS 是具有很好的容错性的分布式存储系统,它利用复制技术实现数据容错能力,数据会被复制多份并存储在集群的不同节点。这样,集群中的某些机器宕机了,数据还可以从其他正常运行的机器获取。如果有一个机器宕机了,HDFS 会在其他可用的机器创建数据的副本,来保证该数据的副本数与集群的副本因子是一致的。

HDFS 如何实现容错
HDFS 通过复制进程来保证容错机制。在文件写入 HDFS 时,HDFS 会首先把文件分割成块,并把这些数据块存储在集群不同机器上,然后在其他机器创建各个块的副本,默认情况下,HDFS 会在其他机器创建3个文件的副本。所以,HDFS 集群任意机器挂了,我们依然能从其他保存数据副本的机器上读取数据,由于这种独特的分布式存储特性,HDFS 给我们提供了更快的文件读写机制。

作者:酸辣鱼籽酱
链接:https://www.nowcoder.com/discuss/353503492612403200?sourceSSR=search
来源:牛客网

二、HDFS组织架构

○ 1.NameNode(NN):存储文件的元数据,如:文件名,文件目录结构,文件属性,处理客户端请求,管理数据块映射信息,配置副本策略。

○ 2.DataNode(DN):在本地文件系统存储文件的块数据,以及块数据的校验和。

○ 3.Secondary NameNode(2NN):每隔一段时间对NameNode进行元数据的备份。

○ 4.Client:就是客户端,负责文件的切分,将文件切分为大小相同的物理块(Block)分布式存储在DataNode中。与NameNode进行交互,获取文件的位置信息,与DataNode进行交互,读取或者写入文件。

○ HDFS是Hadoop架构中的负责完成数据的分布式存储管理的文件系统。非高可用HDFS集群工作的时候会启动三个服务,分别是NameNode 和 DataNode以及SecondaryNameNode 。其中NameNode是HDFS的中心服务,主要维护管理文件系统中的文件的元数据信息,DataNode主要负责存储文件的真实数据块信息,当然在DataNode的数据块信息中也包含一下关于当前数据块的元数据信息 例如 检验值 数据长度 时间戳等。在非高可用HDFS集群中NameNode和DataNode可以理解为是一对多的关系。二者在集群工作中也要保持通信,通常默认3秒钟会检测一下心跳。最后SecondaryNameNode的工作很单一,就是为了给NameNode的元数据印象文件和编辑日志进行合并,并自己也保留一份元数据信息 以防NameNode元数据丢失后有恢复的保障。

HDFS写数据流程

1. 剖析文件写入
HDFS核心理论学习记录_第1张图片
(1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。
(2)NameNode返回是否可以上传。
(3)客户端请求第一个 Block上传到哪几个DataNode服务器上。
(4)NameNode返回3个DataNode节点和输出流对象,分别为dn1、dn2、dn3。
(5)客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。
(6)dn1、dn2、dn3逐级应答客户端,。
(7)客户端开始往dn1上传第一个Block(先从磁盘读取数据放到一个本地内存缓存),以Packet为单位,dn1收到一个Packet就会传给dn2,dn2传给dn3;dn1每传一个packet会放入一个应答队列等待应答,通过ack数据校验包返回数据是否传输完成。
(8)当一个Block传输完成之后,客户端再次请求NameNode上传第二个Block的服务器。(重复执行3-7步)。
成功后 关闭输出流,并向namenode返回文件已上传完毕,等待namenode
确认。因为NameNode已经知道文件由哪些块组成,因此仅需等待最小复制块即可成功返回即可。至此整个流程就完成了。

网络拓扑-节点距离计算

在HDFS写数据的过程中,NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢?
节点距离:两个节点到达最近的共同祖先的距离总和。

机架感知(副本存储节点选择)

众所周知,数据块会在hdfs上有多个副本默认三分。那么副本是按照什么策略存储呢?
副本1会存储在client所处节点上,如果client不在对应datanode节点则会随机存储在datanode集群。
副本2会存储在另一个机架随机的一个节点,副本3会存储在和副本3相同机架另个节点。

HDFS读数据流程

1.客户端通过distribute file system 向 NamenNode 发送 请求下载文件A 德的请求。
2.namenode接收到后 判断是否在存在该文件,且该用户是否有权限如果有则返回对应文件的元数据信息
3 . 客户端接收到元数据信息后,创建input输入流 去找最近的节点D1去下载block1块数据,如果D1负载过高,那么下载block2块会打到另个d2节点。
4.传输block1数据,以packet为单位,每隔packet占64字节。先写入缓存,然后再写入目标文件

NN和2NN工作机制

NameNode中的元数据信息是存储在哪里的呢?
首先想到的是数据会存储在内存中,但是如果断电那么数据就会丢失,整个集群就会挂掉。
如果存放在磁盘中读取效率又很低,因为有io操作。
为了解决这个问题 hdfs 在磁盘中产生了备份文件fsimage。和历史操作记录文件Edits
fsimage是存储大部分的元数据序列化信息镜像。
edits文件保存元数据最近的操作记录。元数据修改操作信息会首先同步到edits文件中,再同步到,内存中。这么做的原因是如果修改元数据期间断电,数据不会丢失。
所以即便断电 通过fsimage和edits两个文件合并最终也可以得到元数据信息。
如果修改记录过多放到edits文件中会导致文件数据过大,效率降低,开机恢复时间过长出于这个问题,所以需要定期更新合并fsimage和edit文件。如果这个操作由namenode完成,那么namennode工作效率就会降低。
这也是为什么namenode 和 SecondaryNamenode不在一台服务器节点的原因。

总结如下:

一、

  1. 第一次namenode格式化后会产生fsimage和edits文件。如果不是第一次启动则会直接加载fsimage和edits文件到内存
  2. 客户端发送增删改请求
  3. namenode记录操作日志到edits文件
  4. namenode执行增删改更新操作加载结果到内存

二、
在此期间

  1. 2nn会定期向1nn是否需要checkpoint 也就是合并镜像文件。
  2. 如果edit文件过大则会触发合并服务。超过100w大概。
  3. 期间如果有增删改元数据操作 会被滚动在新的edit文件中。旧的edit文件和fsimage会发送到2nn节点,2nn节点负责fsimage文件和edits文件的合并,产生新的fsimage.chkpoint文件发送给1nn。
  4. 1nn接收到后恢复改掉原来的fsimage文件 并改名为fsimage,那么最后fsiamge和新的正在滚动的edits文件 相加就是最新的元数据了。

checkpoint 服务时间再 hdfs-default.xml 中可以配置 默认是1分钟检查一次

HDFS的五大机制

  1. 切片机制:
    hdfs中的实际数据都是以快的形式存储在datanode节点当中,块大小可配置一般根据磁盘io速度配置
  2. 汇报机制
    datanode节点开机启动后会想namenode节点汇报注册。namenode与datanode会有一个心跳机制一般为3妙,块信息也会定时向namenode汇报是否可用默认为6小时。
  3. 心跳检测机制
    datanode会每隔三秒汇报自己的是否可用信息,如果namenode没有收到该信息,datanode节点会继续汇报10次,3S*10=30秒。如果十分钟后还是没有恢复,则datanode节点会被视为宕机状态,当前机器上的数据namenode会找新的datanode节点做备份。‘
  4. 负载均衡
    让集群中所有的节点(服务器)的利用率和副本数尽量都保持一致或在同一个水平线上
    5.副本机制
    默认备份三个副本,如果副本多了会删,少于3会新增。少于三且无法新增则会进入安全模式只能读不能写。

hdfs默认文件块大小为什么是128M,增大或减小有什么影响。

文件块大小可以通过配置文件来修改,至于为什么默认是128M,hadoop1版本默认是64M,2,3版本都是128M。
文件块设置的大小与磁盘传输速度紧密相关,当前普遍寻址时间一般为10ms,磁盘传输速率一般为100M/s,当寻址速率是传输速率的1/100时默认是最佳状态。
如果增大文件块,会导致传输速率缓慢,大量时间浪费在传输文件块,因为文件块信息不一定全部需要
如果减小文件块,会导致寻址时间增加,大量时间用在寻址上。
总之,文件块大小取决于磁盘传输速率。

你可能感兴趣的:(hadoop,hdfs,hdfs,hadoop,学习)