Hadoop学习6：HDFS基本概念

1 HDFS产出背景及定义

1.1 产出背景

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统

HDFS只是分布式文件管理系统中的一种

1.2 定义

HDFS(Hadoop Distributed File System)，它是一个文件系统，用于存储文件，通过目录树来定位文件;其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色

1.3 适用场景

HDFS适合一次写入，多次读出的场景，且不支持文件的随机修改（支持在原有内容的基础上追加内容，但是不能修改前边的内容）。适合用来做数据分析（多次读出的目的就是进行数据的分析），并不适合用来做网盘应用

2 HDFS优缺点

2.1 优点

1. 高容错性
   (1) 数据自动保存多个副本。它通过增加副本的形式，提高容错性
   (2) 某一个副本丢失以后，它可以自动恢复
2. 适合处理大数据
   (1）数据规模︰能够处理数据规模达到GB、TB、甚至PB级别的数据
   (2）文件规模 ：能够处理百万规模以上的文件数量，数量相当之大
3. 可构建廉价机器上的，通过副本机制，提高可靠性

2.2 缺点

1. 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的
2. 无法高效的对大量小文件进行存储
   1. 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的
   2. 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标
3. 不支持并发写入、文件随机修改
   1. 一个文件只能有一个写，不允许多个线程同时写
   2. 仅支持数据append(追加)，不支持文件的随机修改

3 HDFS组成架构

3.1 架构详解

1. client从NameNode获取元数据信息，原数据信息包括目录结构以及块信息等
2. 获得了相应的块信息就从实际存储数据的DataNode中读取数据，数据在DataNode中是按快存储的，客户端读写的信息实际上是对DataNode上的块数据进行读写，由NameNode进行记录这些信息
3. NameNode就类似于目录，而DataNode是实际的内容

3.2 架构角色详解

1. NameNode (nn)：就是Master，它是一个主管、管理者
   1. 管理HDFS的名称空间
   2. 配置副本策略
   3. 管理数据块（Block)映射信息
   4. 处理客户端读写请求
2. DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。
   1. 存储实际的数据块
   2. 执行数据块的读/写操作
3. Client：就是客户端
   1. 文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传
   2. 与NameNode交互，获取文件的位置信息
   3. 与DataNode交互，读取或者写入数据
   4. Client提f供一些命令来管理HDFS，比NameNode格式化
   5. Client可以诵过一些命令来访问HDFS，比对HDFS增删查改操作;
4. Secondary NameNode,并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务
   1. 辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode
   2. 在紧急情况下，可辅助恢复NameNode

3.3 扩展

Hadoop学习11：NameNode和Secondary NameNode的工作机制

4 HDFS文件块大小

HDFS中的文件在物理上是分块存储( Block)，块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在Hadoop3.1.3版本中是128M，hadoop2.x也是128M,hadoop1.x是64M

该大小可以从HDFS的配置文件hdfs-default.xml可以看到上述的值，单位是字节,可以通过自定义的hdfs-site.xml定义dfs.blocksize属性的值，去指定块的大小

4.1 块大小设置原理简析

1. 两个概念
   1. 寻址时间：找到目标块的所用的时间
   2. 传输时间：磁盘数据传输的时间
2. 理论上，寻址时间是传输数据的时间的1%是最佳的，而HDFS中是以块为单位的，寻找信息的地址也就是以块为单位
3. 如果寻找目标块的平均时间是1ms，也就是寻址时间是1ms，那么数据传输时间就是1s，假设磁盘传输速率是100M/s，那么1s传输的数据量是100M，也就是说每一个数据块可以设置成100M可以符合上述的条件，也可以按实际情况取比实际更大且为整数的数据块，例如相对于上述例子，使用更高的128M，那么以后传输过来的数据很可能就是小于128M那么就存在一个块中
4. 这是在数据传输时间和寻址时间的一个取舍，更大的快虽然寻址时间相对小，但是后续需要该快的传输时间就会慢，更小的块就会寻址时间比较长
5. 对于实际，可以按具体的设备的性能（磁盘传输的传输速率）参考按上述的规则设置