hadoop学习笔记（HDFS）

HDFS的设计基础与目标：

（1）硬件错误是常态，因此需要冗余。

（2）为大数据而生，流式读写，批量读取而非随机读写。擅长数据分析而不是事务处理。

（3）大规模数据集。

（4）一次写多次读逻辑设计，即一旦写入，只能读，不能修改。

（5）程序才用“数据就近”原则分配节点执行。

HDFS的可靠性：

冗余副本策略、机架策略、心跳机制、安全模式、校验和、回收站、元数据保护、快照机制。

HDFS的体系结构：

元数据：事务日志（记录HDFS的元数据变化）、映像文件（fsimage ，存储文件系统命名空间的文件映像和文件属性等）。

读取数据流程（namenode不参与数据传输）。