每天一点hadoop 第三篇HDFS(二)

今天我们继续总结HDFS的知识

1. HDFS基本原理

将文件切分成等大的数据块，存储到多台机器上
将数据切分、容错、负载均衡等功能透明化

2.HDFS的容错机制

hadoop为实现namenode的容错提供了两种机制
备份那些组成文件系统元数据持久状态的文件。通过配置使namenode在多个文件系统上保存元数据的持久状态。
运行一个辅助的namenode（这在hadoop2.X已经不同了）。帮助namenode定期通过编辑日志合并命名空间镜像，以防止编辑日志过大（即常说的secondarynamenode）

3.HDFS中的其他组成

Secondarynamenode节点做为辅助的namenode节点
fsimage 元数据镜像文件
edits:操作日文件

4.HDFS的应用场景

海量数据的可靠性存储
数据归档

5.HDFS的副本放置策略

副本1：同client的节点上
副本2：不同机架中的节点上
副本3：与第二个副本同一机架的另一个节点上
其他副本——随机挑选

6.HDFS典型物理拓扑

今天的内容可能有些太粗糙，我会在今后的时间里，把他总结的更为丰富的