hadoop之HDFS

HDFS基础：

分布式文件系统，适合一次写入，多次读出的场景，适合用来做数据分析

HDFS的组成架构：

Namenode:是master，存储元数据信息，配置副本策略，处理客户端的请求，
DataNode：是slave 存储实际数据，执行数据的读写操作，
Secondary namenode：辅助namenode，定期合并镜像文件和日志文件，并推送给namenode;在紧急情况下，可以用来恢复namenode

HDFS 文件块大小：（面试重点）

Hadoop2默认大小是128M，hadoop1默认大小是64M，
原因：寻址时间大约是10ms，寻址时间为传输时间的1%时认为是最佳状态，所以传输时间10ms/0.01=1s,而且当前磁盘的传输速率大约100M/s ，所以块大小就是128M
【参数优先级】客户端代码中设置的值 > classPath下的用户自定义配置文件 > 服务器默认配置值
HDFS写数据流程：（面试重点）

3.png

HDSF读数据流程：（面试重点）

4.png

Namenode的工作机制：（面试重点）

5.png

DataNode工作机制：（面试重点）

6.png