大数据文件存储系统HDFS

现在随着企业规模的发展，对于数据存储的要求越来越大，单机存储性能已经成为存储的瓶颈，在这里我们就需要引入分布式存储，通过水平扩展的方式进行容量的扩展，并且提高数据的一致性，安全性，可靠性等关系。

大数据也是发展的前景之一，越来越多的开发者开始进入大数据领域，并且很多企业开始关注，逐步发展自己的大数据业务，数据的重要性不言而喻，那么我们应该怎么进行数据保存，扩展呢？这正是分布式文件系统需要解决的问题。

我们今天所要说的重点是大数据存储的王者HDFS存储系统。

HDFS

什么是HDFS呢？官网是这样解答的，是一种分布式文件系统，设计用于在商用硬件上商用，管理数以千计的服务器，数以万计的磁盘，将大规模的服务器资源当做一个单一的出承诺函系统进行管理，操作大批量数据就像使用普通文件系统一样。

简单理解其架构

架构图，摘自极客时间

HDFS是经典的主从架构，当然为了保证高可用，HDFS也提供了高可用的方案，在3.0版本以上更加提供了多个主节点用来帮助提高系统的可用性。

在其设计理念上，有两个主要的关键组件NameNode与DataNode.简单来说NameNode负责保存一些元数据信息，DataNode负责数据的读取与写入，但是真的只是这么简单吗？

我们从Linux的文件系统就可以看出，文件系统是有目录项，索引节点，逻辑块，超级块四大元素构成。同样的HDFS文件系统也有类似的管理操作。

NameNode

NameNode 究竟负责什么呢？我们今天就来看一下。

在3.0版本以前，NameNode是只存在两个节点的，一个Active节点，一个Standby节点。在3.0以后就可以支持2个以上的NameNode节点了，高可用性得到了提高。

责任

1. NameNode(Active状态)

• 整个分布式文件系统的元数据(元数据)管理。元数据包括文件的名字，副本数，存储的block-id（HDFS中使用block作为存储单元，block-id包含了哪个DataNode节点）信息。
• 接受客户端的读写请求。告知客户端读取的信息去哪里读取，写入数据要写入到哪个机器
• 启动的时候加载元数据到内存中。内存中存储的是 fsimage(元数据镜像文件，类似于文件系统的目录树)+edits(元数据的操作日志，针对文件系统做的修改操作记录)。我们如果系统出现错误的格式化，当另外节点数据好保存着可以进行数据的恢复。
• 通过心跳的方式与DataNode进行存活的通信。
• 数据备份告知。

2. SecondryNameNode的工作

• 默认1小时定期合并Active NameNode 下的fsimage与edits,避免edit log过大。是通过创建检查点checkpoint来实现的。
• 合并完毕后，在发送给Active NameNode ,可以说不算是Active 的备份节点。

3. HDFS的Federation
   这个是用来扩展单机NameNode 水平扩展的问题的，管理多个命名空间，降低单机操作的读写的压力。

DataNode

DadaNode 主要是数据的读取，写入，存储，冗余等内容。

• 硬盘故障容错，检测到本地硬盘出现故障，会将其所存储的BlockID内容报告给NameNode，NameNode进行调度按照其他服务器进行备份处理。
• 存储数据块Block
• 启动线程与NameNode进行通信，汇报其存储的BlockID信息
• 保持3秒的心跳链接，超过一定时间认为数据节点丢失。
• Block的放置策略如下（机架的问题下次再说）:
  1. 第一个副本，放置在本机上，如果是集群外提交的，随机选择不太忙的节点存储。有就近的原则
  2. 第二个副本，放置在与第一个副本不同机架上的节点上。
  3. 第三个副本，放置在与第二副本相同机架上的相邻节点上。
  4. 更多副本随机放置。

数据的读取与写入

读取文件流程

读文件

1. 我们程序是作为客户端的存在，根据api进行操作
2. 然后访问Namenode，传输给需要读取的文件
3. Namenode 查看需要的元数据信息，包含路径所存在block-id信息，还有datanode信息。
4. 根据返回的block-id进行(就近原则)读取，具有先后顺序。
5. 每读取取完一个block后，会接着读取下一个block块
6. 注意 4和5的流程是并行处理的。客户端刚开始就并行的读取多个block块的数据，单位是packet为单位接收，本地缓存。
7. 下载完毕后，在进行组装，根据block追加成为文件，完整的数据就完成下载了。

写文件流程

写文件

1. 客户端 创建好需要的api操作。
2. 打开与nameNode的链接，检查目标文件是否存在，目录内容是否存在等信息.
3. namenode返回可以上传的信息包含要上传的位置datanode 节点信息等。
4. 客户端请求就近的节点开始上传数据，按照packet为单位，后面备份的节点数据是通过异步调用的通道放大建立管道传输数据。本质上上传了一个节点，其他节点是通过复制传输完成的。
5. 当第一个block写完之后，客户端再次请求namenode上传第二个block的服务器。重复以上步骤。
6. 写入也是并发的写入。