HADOOP HDFS
HADOOP HDFS
1 HDFS的优缺点
优点:
– 适合大数据处理：GB 、TB 、甚至PB 级及以上的数据
– 百万规模以上的文件数量:10K+ 节点。
– 适合批处理：移动计算而非数据(MR),数据位置暴露给计算框架
– 可构建在廉价机器上
– 高可靠性:通过多副本提提高
– 高容错性：数据自动保存多个副本；副本丢失后，自动恢复,提供了恢复机制
缺点:
–低延迟高数据吞吐访问问题
•比如不支持毫秒级
•吞吐量大但有限制于其延迟
–小文件存取占用NameNode大量内存（寻道时间超过读取时间（99%））
–不支持文件修改：一个文件只能有一个写者（深入）
仅支持append不支持修改（其实本身是支持的，主要为了空间换时间，节约成本
2 HDFS架构
3 HDFS 数据存储模型（block）
**–**文件被线性切分成固定大小的数据块block
•通过偏移量offset（单位：byte）标记
•默认数据块大小为64MB (hadoop1.x)，可自定义配置
•若文件大小不到64MB ，则单独存成一个block
- 一个文件存储方式
•按大小被切分成若干个block ，存储到不同节点上
•默认情况下每个block都有2个副本 共3个副本
•副本数不大于节点数
- Block大小和副本数通过Client端上传文件时设置，文件上传成功后副本数可以变更，Block Size大小不可变更
4 NameNode（简称NN）
– NameNode主要功能：
1、接受客户端的读/写服务。
2、接受DN汇报的block位置信息。
– NameNode保存metadate元信息。
基于内存存储 ：不会和磁盘发生交换;
metadate元数据信息包括以下：
•文件owership(归属)和permissions(权限)
•文件大小 时间
•Block列表[偏移量]：即一个完整文件有哪些block（b0+b1+b2+…=file）
•位置信息=Block每个副本保存在哪个DataNode中（由DataNode启动时上报给NN 因为会随时变化,不保存在磁盘）–动态的!
– NameNode的metadate信息在启动后会加载到内存
•metadata存储到磁盘文件名为”fsimage”的镜像文件
•Block的位置信息不会保存到fsimage
•edits记录对metadata的操作日志
5 SecondaryNameNode（SNN）
– 它的主要工作是帮助NN合并edits log文件，减少NN启动时间,它不是NN的备份（但可以做备份)。
– SNN执行合并时间和机制
•A、根据配置文件设置的时间间隔fs.checkpoint.period 默认3600秒
•B、根据配置文件设置edits log大小 fs.checkpoint.size 规定edits文件的最大值默认是64MB
6 SecondaryNameNode SNN合并流程
7 DataNode（DN）
– 存储数据（Block）
– 启动DN线程的时候会向NameNode汇报block位置信息
– 通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN
8 Block的副本放置策略
– 第一个副本：集群内提交,放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。
– 第二个副本：放置在于第一个副本不同的机架的节点上。
– 第三个副本：与第二个副本相同机架的不同节点。
– 更多副本：随机节点
9 HDFS读写流程
1 读文件过程
2 写 文件流程
