Hadoop HDFS 运行原理

一、HDFS 简介

1.HDFS的设计思想及作用

HDFS 是 hadoop 的分布式文件存储系统，它的设计思想为分而治之，就是说将大文件、大批量文件、分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。在大数据系统中主要为各类分布式的运算框架（如：mapreduce、spark等）提供数据存储服务。

2.HDFS的概念及特性

首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件。其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。重要特性如下：

(1).HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，hadoop1.x 版本中是64M。

(2).HDFS文件系统会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dir-a/dir-b/dir-c/file.data

(3).目录结构及文件分块信息(元数据)的管理由namenode节点承担，namenode是HDFS集群主节点，负责维护整个hdfs文件系统的目录树，以及每一个路径（文件）所对应的block块信息（block的id，及所在的datanode服务器）

(4).文件的各个block的存储管理由datanode节点承担，datanode是HDFS集群从节点，每一个block都可以在多个datanode上存储多个副本（副本数量也可以通过参数设置dfs.replication）

(5).HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改

注：适合用来做数据分析，并不适合用来做网盘应用，因为，不便修改，延迟大，网络开销大，成本太高

二、HDFS 的工作机制

1.HDFS 概述

(1).HDFS集群分为两大角色：NameNode、DataNode

(2).NameNode负责管理整个文件系统的元数据

(3).DataNode 负责管理用户的文件数据块

(4).文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上

(5).每一个文件块可以有多个副本，并存放在不同的datanode上

(6).Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量

(7).HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向namenode申请来进行

2.写数据流程

流程概述：
客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本.

详细步骤图

详细步骤解析
(1).根据 namenode 通信请求上传文件，namenode检查目标文件及目标文件的父目录是否存在

(2).namenode返回是否可以上传

(3).client 请求第一个block 该传输到哪一个datanode服务器上

(4).namenode应客户端要求返回指定数量的datanode（比如上图中返回node1、node2、node3）

(5).client 请求三台dn中的一台 DataNode1上传数据（本质上是一个RPC调用，建立pipeline，即管道），node1请求会继续调用node1、node3，将整个管道建立完成，逐级返回客户端

(6).client 开始上传第一个block（从本地磁盘读取数据先写入到缓存中，再写入datanode的文件中，同时以数据包packet为单位，传输给别的datanode，node1收到一个packet就会传给node2，node2传给node3，node1每传一个packet就会放入一个应答队列等待应答）

(7).当一个block传输完成之后，client再次请求namenode上传第二个block到服务器

3.读数据流程

流程概述
客户端将要读取的文件路径发送给namenode，namenode获取文件的元信息（主要是block的存放位置信息）返回给客户端，客户端根据返回的信息找到相应datanode逐个获取文件的block并在客户端本地进行数据追加合并从而获得整个文件

详细步骤图

详细步骤解析
(1).跟namenode通信查询元数据，找到文件块所在的datanode服务器

(2).挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流

(3).datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）

(4).客户端以packet为单位接收，先在本地缓存，然后写入目标文件

4.NameNode 工作机制

首先我们知道namenode的职责就是负责客户端的请求及响应、管理元数据，namenode对数据的管理采用了三种存储形式，本别为：内存元数据(NameSystem)、磁盘元数据镜像文件(FsImage)、数据操作日志文件（editslog，可通过日志运算出元数据）

注意：HDFS不适合存储小文件的原因，每个文件都会产生元信息，当小文件多了之后元信息也就多了，对namenode会造成压力。

元数据存储机制介绍

内存：内存中有一份完整的元数据，即当前namenode正在使用的元数据，存储在内存中

磁盘文件：磁盘有一个“准完整”的元数据镜像文件，保存在namenode的工作目录中，作用是为了在namenode宕机后，磁盘文件和数据操作日志合并快速准确的恢复元数据，称为fsimage。

数据操作日志：记录元数据的操作日志，每次更改元数据后，都会追加到操作日志中，主要作用是用来完善fsimage，减少fsimage和内存中元数据的差距，称为editlog。

checkpoint机制分析

(1). namenode 节点每隔一段时间向 secondary namenode 发送 rpc 请求，请求合并editslog到fsimage

(2). secdondary namenode 收到请求后 从 namenode 中下载 fsimage 和 editlog 到磁盘中（sedondary namenode 下载前，namenode 会对当前正在写的edits进行滚动，这样新的元数据的日志就会追加到新的文件中）

(3). secondary namenode 将磁盘中的fsimage 和 editlog 加载内存中，还原成元数据结构，合并，再生成文件，新文件的文件名为fsimage.checkpoint

(4). namenode 下载合并后的fsimage.checkpoint，将fsimage.checkpoint命名为原来的文件名（这样之后的fsimage 和 内存中的元数据就只差edits.new了）

(5).至此，一个轮回完成，等待下一次checkpoing 触发 secondary namenode 进行工作，一直这样循环操作。

常见问题解答
1.namenode 如果宕机，hdfs是否能够正常提供服务
毫无疑问答案是不可以

2.如果namenode的的硬盘损坏，元数据是否能恢复，如果可以，如何恢复可以？
可以恢复绝大部分的元数据，将secondary namenode中的工作目录中的fsimage.checkpoint 拷贝到namenode的工作目录中，namenode在启动后会自动加载，从而恢复namenode的元数据（因为secondary namenode和namenode的工作目录存储结构完成相同）