HDFS是如何设计架构的？

前言

         Hadoop到目前为止发展已经有10余年，版本经过无数次的更新迭代，目前业内大家把Hadoop大的版本分为Hadoop1.0、Hadoop2.0、Hadoop3.0 三个版本。

一、Hadoop 简介

         Hadoop版本刚出来的时候是为了解决两个问题：一是海量数据如何存储的问题，一个是海量数据如何计算的问题。Hadoop的核心设计就是HDFS和 Mapreduce.HDFS解决了海量数据如何存储的问题， Mapreduce解决了海量数据如何计算的问题。HDFS的全称：Hadoop Distributed File System。

二、分布式文件系统

         HDFS是一个主从的架构、主节点只有一个NemeNode。从节点有多个DataNode。

三、HDFS 架构

        客户端上传文件时假设文件大小为129MHDFS默认切分的大小为128M这时就会产生出2个blkNameNode去通知DataNode上传文件（这里有一定的策略），我们就假设就将这几个文件分别存储在4个服务器上。为什们要进行分别存储在，假设DataNode服务器有一天突然挂掉了我们是不是还可通过DataNode4或2和3进行读取数据，这样是不是就防止数据丢失。

NameNode

1. 管理元数据信息（文件目录树）：文件与Block块，Block块与DataNode主机关系
2. NameNode为快速响应用户操作，所以把元数据信息加载到内存里

DataNode

1. 存储数据，把上传的数据划分固定大小文件块（Block）在Hadoop2.73之前是64M之后改为了128M
2. 为了保证数据安全，每个文件默认都是三个副本

SecondaryNamenode         周期性的到NameNode节点拉取Edtis和fsimage文件，将这两个文件加入到内存进行 然后将这两个文件加入到内存中进行合并产生新的fsimage发送给NameNode。

四、HDFS写入数据流程

1. 客户端会带着文件路径向NameNode发送写入请求通过 RPC 与 NameNode 建立通讯， NameNode 检查目标文件，返回是否可以上传；
2. Client 请求第一个 block 该传输到哪些 DataNode 服务器上；
3. NameNode 根据副本数量和副本放置策略进行节点分配，返回DataNode节点，如：A，B，C
4. Client 请求A节点建立pipeline管道，A收到请求会继续调用B，然后B调用C，将整个pipeline管道建立完成后,逐级返回消息到Client；
5. Client收到A返回的消息之后开始往A上传第一个block块，block块被切分成64K的packet包不断的在pepiline管道里传递，从A到B，B到C进行复制存储
6. 当一个 block块 传输完成之后，Client 再次请求 NameNode 上传第二个block块的存储节点，不断往复存储
7. 当所有block块传输完成之后，Client调用FSDataOutputSteam的close方法关闭输出流，最后调用FileSystem的complete方法告知NameNode数据写入成功

五、HDFS读取数据流程

1. 客户端会先带着读取路径向NameNode发送读取请求，通过 RPC 与 NameNode 建立通讯,NameNode检查目标文件，来确定请求文件 block块的位置信息
2. NameNode会视情况返回文件的部分或者全部block块列表，对于每个block块，NameNode 都会返回含有该 block副本的 DataNode 地址
3. 这些返回的 DataNode 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时汇报的 DN 状态为 STALE，这样的排靠后；
4. Client 选取排序靠前的 DataNode 调用FSDataInputSteam的read方法来读取 block块数据，如果客户端本身就是DataNode,那么将从本地直接获取block块数据
5. 当读完一批的 block块后，若文件读取还没有结束，客户端会继续向NameNode 获取下一批的 block 列表，继续读取
6. 所有block块读取完成后，Client调用FSDataInputStream.close()方法，关闭输入流，并将读取来所有的 block块合并成一个完整的最终文件

六、HDFS缺陷

1. 单点问题
2. 内存受限

总结

         上述给大家讲解了简单的HDFS架构，我在最后面留了一个小问题，我会在下期通过画图的方式给大家讲解，我在这里为大家提供大数据的资料需要的朋友可以去下面GitHub去下载，信自己，努力和汗水总会能得到回报的。我是大数据老哥，我们下期见~~~

资源获取 获取Flink面试题，Spark面试题，程序员必备软件，hive面试题，Hadoop面试题，Docker面试题，简历模板等资源请去GitHub自行下载 https://github.com/lhh2002/Framework-Of-BigDataGitee 自行下载  https://gitee.com/li_hey_hey/dashboard/projects