Hadoop之HDFS（基本概念）

第1章 HDFS概述

1.1 HDFS 定义

HDFS(Hadoop Distributed File System)，它是一个文件系统，用于存储文件，通过目录树来定位文件;其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
适合一次写入，多次读出的场景，不支持文件修改，可以过来做数据分析。

1.2 优缺点

优点：
（1）容错性高：主要有多个副本
（2）适合处理大数据：数据规模 可达到 PB级别，文件量能够处理百万这个量级
（3）可构建在廉价机器上
缺点：
（1）数据访问有延时，做不到毫秒级别的
（2）大量小文件不能高效存储，NameNode会占用大量内存
（3） 可追加写入，不可随机修改，不支持并发写入（不支持多线程写入）

小知识课堂：
1.什么是分布式？什么是集群？ 集群和分布式的区别？
（独立概念，分布式是用多台计算机并行解决不同问题、集群是整合多台计算机解决相同问题）
2.什么是主从模式？
(分布式系统节点为主从关系、分布执行且保证数据一致，相关概念：高可用模式、联邦模式)
3.什么是NameNode 、DataNode 、secondaryNameNode ，以及它们扮演的角色？
(名称节点控制作用、数据节点存储作用、助理节点备份控制节点作用)

第二章 HDFS 组成架构

2.1 组成简单介绍

名词解释：

1. NameNode(nn) :是一个主管、管理者Master
   (1）管理HDFS的名称空间;
   (2）配置副本策略;
   (3）管理数据块(Block)映射信息;
   (4）处理客户端读写请求。
2. DataNode:就是Slave。NameNode下达命令，DataNode执行实际的操作。
   (1）存储实际的数据块;
   (2）执行数据块的读/写操作。
3. Client:就是客户端。
   (1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传;
   (2)与 NameNode 交互，获取文件的位置信息;
   (3)与 DataNode 交互，读取或者写入数据;
   (4) Client提供一些命令来管理 HDFS，比如 NaneNode 格式化;
   (5) Client可以通过一些命令来访问 HDFS，比如对 HDFS 增删查改操作;
4. Secondary NameNode:并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。
   (1)辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NaneNode ;
   (2）在紧急情况下，可辅助恢复NameNode。

2.2 HDFS 读数据流程

（1）客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。
（2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。
（3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。
（4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

2.3 HDFS 写数据过程

（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
（2）NameNode返回是否可以上传。
（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。
（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。
（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
（6）dn1、dn2、dn3逐级应答客户端。
（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
（8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。

小知识课堂：
概念：什么是元数据？它包含了：
① 文件、目录自身的属性信息；
② 文件记录的信息的存储相关的信息（块映射、存储定位）；
③ Datanode 信息