HDFS基本概念

首先我们要认识HDFS的体系结构，看下图：

HDFS结构示意图

基本知识点：

- HDFS是以块为基本的存储单位，块的大小为64MB，块是整个文件存储处理的逻辑单位

- 每个数据块都有三份，两个放在机架1，第三个放在机架二，防止硬件设备的故障导致数据块的损失

- HDFS包含两类节点，分别为NameNode和DataNode

- NameNode是管理节点，存放元数据，元数据包含两个部分，分别是文件与数据块的映射表（可通过映射表找到具体的数据块）

- DataNode是数据节点，存放数据块

- Secondary NameNode是备份管理节点，当NameNode出现问题后，备份管理节点将会代替原先NameNode的位置工作

HDFS工作流程：

查询流程:

客户端通过命令行或者程序输入查询语句，访问到管理节点，管理节点返回元数据给客户端，客户端再通过其中的映射表读取到数据块

插入流程：

客户端发出插入请求，NameNode找到空的可用的数据块将数据插入，然后数据块以流水线的形式将其复制两份放入指定的的位置