HDFS应用场景、原理、基本架构
HDFS应用场景、原理、基本架构
更多干货
- 分布式实战（干货）
- spring cloud 实战（干货）
- mybatis 实战（干货）
- spring boot 实战（干货）
- React 入门实战（干货）
- 构建中小型互联网企业架构（干货）
- python 学习持续更新
- ElasticSearch 笔记
- kafka storm 实战 (干货)
一、HDFS是什么
源自于Google的GFS论文
- 发表于2003年10月
- HDFS是GFS克隆版
Hadoop Distributed File System
- 易于扩展的分布式文件系统
- 运行在大量普通廉价机器上，提供容错机制
- 为大量用户提供性能不错的文件存取服务
1、HDFS优点
高容错性
- 数据自动保存多个副本
- 副本丢失后，自动恢复
适合批处理
- 移动计算而非数据
- 数据位置暴露给计算框架
适合大数据处理
- GB、TB、甚至PB级数据
- 百万规模以上的文件数量
- 10K+节点规模
流式文件访问
- 一次性写入，多次读取
- 保证数据一致性
可构建在廉价机器上
- 通过多副本提高可靠性
- 提供了容错和恢复机制
2、HDFS缺点
低延迟数据访问
- 比如毫秒级
- 低延迟与高吞吐率
小文件存取
- 占用NameNode大量内存
- 寻道时间超过读取时间
并发写入、文件随机修改
- 一个文件只能有一个写者
- 仅支持append
3、HDFS设计思想
4、HDFS数据块（block）
文件被切分成固定大小的数据块
- 默认数据块大小为64MB，可配置
- 若文件大小不到64MB，则单独存成一个block
为何数据块如此之大
- 数据传输时间超过寻道时间（高吞吐率）
一个文件存储方式
- 按大小被切分成若干个block，存储到不同节点上
- 默认情况下每个block有三个副本
5、HDFS写流程
6、HDFS读流程
7、HDFS典型物理拓扑
8、HDFS副本放置策略
9、HDFS可靠性策略
10、HDFS不适合存储小文件
元信息存储在NameNode内存中
一个节点的内存是有限的
存取大量小文件消耗大量的寻道时间
类比拷贝大量小文件与拷贝同等大小的一个大文件
NameNode存储block数目是有限的
- 一个block元信息消耗大约150 byte内存
- 存储1亿个block，大约需要20GB内存
- 如果一个文件大小为10K，则1亿个文件大小仅为1TB（但要消耗掉NameNode 20GB内存）
二、HDFS访问方式
- HDFS Shell命令
- HDFS Java API
- HDFS REST API
- HDFS Fuse：实现了fuse协议
- HDFS lib hdfs：C/C++访问接口
- HDFS 其他语言编程API
- 使用thrift实现 ** 支持C++、Python、php、C#等语言
HDFS Shell命令—概览
将本地文件上传到HDFS上
bin/hadoop fs -copyFromLocal /local/data /hdfs/data
删除文件/目录
bin/hadoop fs -rmr /hdfs/data
创建目录
bin/hadoop fs -mkdir /hdfs/data
HDFS Shell命令—管理脚本
bin/hadoop dfsadmin
在sbin目录下
start-all.sh
start-dfs.sh
start-yarn.sh
hadoop-deamon(s).sh
单独启动某个服务
hadoop-deamon.sh start namenode
hadoop-deamons.sh start namenode（通过SSH登录到各个节点）
HDFS Shell命令—文件管理命令fsck
- 检查hdfs中文件的健康状况
- 查找缺失的块以及过少或过多副本的块
- 查看一个文件的所有数据块位置
- 删除损坏的数据块
HDFS Shell命令—数据均衡器balancer
- 数据块重分布
bin/start-balancer.sh -threshold
percentage of disk capacity
- HDFS达到平衡状态的磁盘使用率偏差值
- 值越低各节点越平衡，但消耗时间也更长
HDFS Shell命令—设置目录份额
限制一个目录最多使用磁盘空间
bin/hadoop dfsadmin -setSpaceQuota 1t /user/username
限制一个目录包含的最多子目录和文件数目
bin/hadoop dfsadmin -setQuota 10000 /user/username
HDFS Shell命令—增加/移除节点
三、HDFS Java API介绍
- Configuration类：该类的对象封装了配置信息，这些配置信息来自core-.xml；
- FileSystem类：文件系统类，可使用该类的方法对文件/目录进行操作。一般通过FileSystem的静态方法 get获得一个文件系统对象；
- FSDataInputStream和FSDataOutputStream类：HDFS中的输入输出流。分别通过FileSystem的open方法和create方法获得。 以上类均来自java包：org.apache.hadoop.fs
HDFS Java程序举例
将本地文件拷贝到HDFS上
Configuration config = new Configuration();
FileSystem hdfs = FileSystem.get(config);
Path srcPath = new Path(srcFile);
Path dstPath = new Path(dstFile);
hdfs.copyFromLocalFile(srcPath, dstPath);
创建HDFS文件；
//byte[] buff – 文件内容
Configuration config = new Configuration();
FileSystem hdfs = FileSystem.get(config);
Path path = new Path(fileName);
FSDataOutputStream outputStream = hdfs.create(path);
outputStream.write(buff, 0, buff.length);
四、Hadoop 2.0新特性
- NameNode HA
- NameNode Federation
- HDFS 快照（snapshot）
- HDFS 缓存（in-memory cache）
- HDFS ACL
- 异构层级存储结构（Heterogeneous Storage hierarchy）
1、HA与Federation
2、异构层级存储结构—背景
HDFS将所有存储介质抽象成性能相同的Disk
dfs.datanode.data.dir
/dir0,/dir1,/dir2,/dir3
存储介质种类繁多，一个集群中存在多种异构介质
- 磁盘、SSD、RAM等
多种类型的任务企图同时运行在同一个Hadoop集群中
- 批处理，交互式处理，实时处理
- 不同性能要求的数据，最好存储在不同类别的存储介质上
3、异构层级存储结构—原理
dfs.datanode.data.dir
[disk]/dir0,[disk]/dir1,[ssd]/dir2,[ssd]/dir3
4、异构层级存储结构—原理
HDFS仅提供了一种异构存储结构，并不知道存储介质的性能；
HDFS为用户提供了API，以控制目录/文件写到什么介质上；
HDFS为管理员提供了管理工具，可限制每个用户对每种介质的可使用份额；
目前完成度不高
阶段1：DataNode支持异构存储介质（HDFS-2832，完成）
阶段2：为用户提供访问API（HDFS-5682，未完成）
五、HDFS ACL—基于POSIX ACL的实现
六、HDFS快照—背景
HDFS上文件和目录是不断变化的，快照可以帮助用户保存某个时刻的数据；
HDFS快照的作用
- 防止用户误操作删除数据
- 数据备份
HDFS快照—基本使用方法
七、HDFS缓存
HDFS自身不提供数据缓存功能，而是使用OS缓存容易内存浪费，eg.一个block三个副本同时被缓存
多种计算框架共存，均将HDFS作为共享存储系统
- MapReduce：离线计算，充分利用磁盘
- Impala：低延迟计算，充分利用内存
- Spark：内存计算框架
HDFS应让多种混合计算类型共存一个集群中
- 合理的使用内存、磁盘等资源
- 比如，高频访问的特点文件应被尽可能长期缓存，防止置换到磁盘上
HDFS缓存—原理
HDFS缓存—实现情况
用户需通过命令显式的将一个目录或文件加入/移除缓存
- 不支持块级别的缓存
- 不支持自动化缓存
- 可设置缓存失效时间
缓存目录：仅对一级文件进行缓存
- 不会递归缓存所有文件与目录
以pool的形式组织缓存资源
- 借助YARN的资源管理方式，将缓存划分到不同pool中
- 每个pool有类linux权限管理机制、缓存上限、失效时间等
独立管理内存，未与资源管理系统YARN集成
- 用户可为每个DN设置缓存大小，该值独立于YARN