secondnamenode namenode

功能:定期按照规则被唤醒值行检查点任务,将namenode的fsimage和edits文件合并,规则1 固定实间间隔 2 edits文件大小

fsimage——存储目录树信息

edits——编辑目录树的信息,且未被合并到fsimage中(namenode启动时会做合并,先加载fsimage,再edits,然后将最新fsimage信息从内存更新到fsimage文件)

防止edits文件过大,导致namenode启动过慢,因此secondenamenode会定时启动检查点,将edits文件和fsimage文件合并

1 建立检查点

2 namenode创建新的edits文件

3 secondnamenode加载fsimages edits文件,用edits文件更新fsimages文件

4 将fsimages文件替换namenode中旧的fsimages文件

5 结束检查点


建议:secondnamenode 和 namenode分开服务器存储,避免内存瓶颈



namenode

1 维护整个集群的文件目录树、文件/目录的元数据信息、文件的数据块索引信息(每个文件对应的数据块列表),信息保存在fsimages(命名空间映像) edits(编辑日志)

2 namenode中有数据块与数据节点的映射关系,是在namenode启动时,datanode汇报上来的,由namenode动态维护

3 namenode中还有集群的状态信息,包括每个节点的负载情况、集群的可用空间等


datanode 

负责hdfs数据到linux文件的存取

1 客户端从namenode获取具体datanode号后,会联系datanode做数据处理

2 高可用,数据节点会和其它数据节点通讯,复制冗余文件

3 作为从节点,不断和namenode通讯,保持心跳,告知本地信息,及接受namenode的指令,处理文件

你可能感兴趣的:(secondnamenode namenode)