大数据面试 | 01 HDFS面试热点--HDFS 架构及读写流程

文章目录

HDFS 简介以及架构设计

详解SecondaryNameNode

HDFS小文件危害以及解决方案

HDFS 读流程

HDFS 写流程

1. HDFS 架构设计

HDFS架构设计.png

NameNode(元数据节点):

1. 管理文件系统的命名空间
2. 设置副本策略
3. 管理数据块的映射信息
4. 处理客户端的c读写请求***

DataNode(数据节点):DataNode 是真正存储数据的地方。

1. Client 或者 NameNode 可以向 DataNode 请求写入或者读出数据块。
2. 定时向 NameNode 汇报存储数据块信息。

Secondary NameNode(从元数据节点):它并不是备用的 NameNode 节点，它负责不同的事。

1.它会周期性地将 NameNode 的 FSimage 和 Edits 合并，以防日志文件过大。

2. 合并之后的 FSimage 会在 Secondary NameNode 中保存一份，防止 NameNode 节点失败时可以恢复

详解SecondaryNameNode

作用

定期合并NN节点的fsimage(快照)+editlog(操作日志)为新的fsimage,推送给NN。而触发这个操作的称为检查点checkpoint。影响checkpoint主要是两个参数：

checkpoint之间的时间间隔 dfs.namenode.checkpoint.period=3600秒=1小时
操作事务数 dfs.namenode.checkpoint.txns=1000000
以上两个参数满足其一就触发SNN的合并操作。

合并流程

SNN.png

1.SecondaryNameNode 通过周期性(五分钟)，通过 getEditLog 获取 editlog 大小，当其 达到合并的大小时通过 RollEditLog 方法进行合并。

2. NameNode 停止使用 edits 文件，并生成一个新的临时的 Edits.new 文件。
3. SecondaryNameNode 通过 NameNode 内建的 Http 服务器，以 get 的方式获取 edits 与fsimage 文件。Get 方法中携带着 Fsimage 与 Edits 的路径。
4. SecondaryNameNode 将 Fsimage 载入内存并逐一执行 Edits 中的操作，生成新的 Fsimage 文件。
5. 执行结束后，会向NameNode发送 http 请求，告知 NameNode 合并结束，NameNode 通过 http post 的方式获取新 fsimage 文件
6. Namenode 更新 fsimage 文件中记录检查点执行的时间，并改名为 fsimage 文件。
7. Edit.new 文件更名为 edit 文件

2 . HDFS小文件危害以及解决方案

小文件危害

先说对小文件的定义，一般来说小于等于30M的文件，都叫小文件。在HDFS中，通常NN维护一个文件的名称，目录结构等大约是250字节。现实中，HDFS的小文件如果不做任何操作增长会很快，现在假设NN节点的内存为4G，差不多42亿字节，现在在HDFS上有一亿个小文件，那么需要250乘一亿大约是250亿字节，这样会将NN撑爆。小文件到达一定数目，就会将NN节点撑爆。就算NN能够存储，对于hive，spark计算时，小文件意味着需要更多的task和资源，同样也会将节点弄挂掉。

解决方案
生产上首先需要设置小文件的阈值，到达这个值对小文件进行合并。对于这个合并，一种是在HDFS存储之前就进行合并，还有一种就是计算完之后根据业务周期来进行合并。后一种需要在计算时格外对小文件进行调整，具体的会额外出文章讲。

3. HDFS 读流程

HDFS读流程-.png

1. client使用FileSystem.open(filepath)来rpc调用NN，NN接受到请求会进行权限等一系列check
2. 如果都ok，就会返回该文件全部或部分block列表(也就是FSInputStream)，如果过不了check直接抛出异常。
3. client调用FSInputStream的read()去找到离最近的DN读取block数据，在读取之后会check。如果失败会记录该DN和这个副本信息，下次不会在这个DN读取，如果没问题就继续读取下一个最近的block。当全部block列表读取完之后该文件还没结束，那么filesystem会继续向NN获取下一批block列表。
4. 当客户端读取完毕数据的时候，调用FSDataInputStream的close函数。

4. HDFS 写流程

HDFS写流程.png

1. client调用FileSysytem.create(filepath)来rpc调用NN。
2. NN会对这个filepath进行check，例如是不是已经存在该文件等，如果没通过check就会返回异常信息，否则返回FSOutputStream并创建一个未与block联系的路径。
3. client使用FSOutputStream来进行block的写入，将第一个块的第一个副本写入DN1,第一个副本写完传输给第二个DN2,第二个副本写完就传输给第三个DN3，当第DN3写完，就返回一个ack packet给DN2，DN2就返回ack packet给DN1，DN1就返回ack packet的FSDataOutputStream对象，标识第一个块的三个副本都写完了，余下的块都是这样写入。如果其中有一个DN出现故障那么数据流会重新调整，绕过故障DN。
4. client写完数据关闭FSOutputStream。
5. 同时client调用filesystem的complete通知NN写入操作已经完成。