HDFS基础之NN、SNN、DN

####一、HDFS架构

 

 

####二、HDFS详解

NameNode(NN)：名称节点
1
文件系统的命名空间
1）、文件名称
2）、文件目录结构
3）、文件的属性（权限、创建时间、副本数等）
4）、文件对应哪些数据块——》这些数据存储在哪些DataNode上
不会持久化存储这种映射关系，是通过集群的启动和运行时，DataNode定期的发送BlockReport给NN，以此NN在【内存】中动态维护这种映射关系。

存储：维护文件系统树及整个树内的所有文件和目录，这些信息以两种文件形式永久保存在本地磁盘上，即：命名空间镜像文件fsimage + 编辑日志editlog

Secondary NameNode(SNN)：第二名称节点
1
存储：命名空间镜像文件fsimage + 编辑日志editlog
作用：定期合并fsimage + editlog文件为新的fsimage，推送给NN，成为检查点checkpoint
参数：dfs.namenode.checkpoint.period: 3600 秒

实验: NN挂了，SNN去恢复(企业不用)

企业: HDFS HA
YARN HA

DataNode(DN)：数据节点
1
存储：数据块+数据块校验和
与NN通信：
1）、每隔3秒发送一次心跳
参数：dfs.heartbeat.interval
2）、每隔10次心跳发送一次BlockReport(30s)
参数：dfs.namenode.heartbeat.recheck-interval

####三、Block(数据块)
大小
64M
128M

参数：dfs.blocksize

####四、副本数
dfs.replication : 3
一个块会变为3个块

hadoop2.x一般公司就3个
hadoop3.0 : 1.5(新特性 纠删码) 1+0.5
####五、副本放置策略
第一副本：放置在上传文件的DataNode上；如果是集群外提交，则随机挑选一台磁盘不太慢、CPU不太忙的节点上；
第二副本：放置在与第一副本不同的机架的节点上；
第三副本：与第二副本相同机架的不同节点上。
————————————————
版权声明：本文为CSDN博主「聒噪鱼」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/spider_lily/article/details/79058132