Hadoop之SecondaryNameNode、CheckpointNode、BackupNode

        原文地址:https://blog.csdn.net/skywalker_only/article/details/39120455

        在Hadoop-2.x版本之前只存在SecondaryNameNode,没有CheckpointNode、BackupNode的概念,在2.x版本中引入了后两者,增强了对NameNode的同步和备份。现在就学习一下2.x版本中的SecondaryNameNode、CheckpointNode、BackupNode,在开始之前先了解一下NameNode中的两个重要文件fsimage和edits以及NameNode是如何使用这两个文件持久化命名空间的,比如HDFS文件系统的元数据。

       NameNode使用fsimage和edits持久化命名空间,其中fsimage保存最新的检查点信息,edits保存自最新检查点后的命名空间的变化。当NameNode启动时,NameNode从fsimage中读取HDFS的状态,并会合并edits中信息到fsimage中以提供最新的文件系统元数据,这样fsimage中保存了HDFS的最新状态并会创建新的空的edits文件。由于fsimage和edits的合并只在NameNode启动时执行,如果NameNode长时间没有重新启动过,edits日志文件将会变得非常大,另一个edits日志文件太大的副作用时下次NameNode的重启将会花费更多的时间,因为需要更多的时间合并fsimage和edits文件。

       由上面的描述可知fsimage和edits文件对整个HDFS有着至关重要的作用,一旦NameNode失效,比如宕机无法启动或者硬盘损坏,就将导致由于失去fsimage和edits文件而无法启动HDFS的现象,所以就出现了SecondaryNameNode、CheckpointNode、BackupNode用于对fsimage和edits文件备份,SecondaryNameNode是最先存在的,后两者是在2.x版本引入的。

       SecondaryNameNode定期性地合并fsimage和edits文件,并保证edits日志文件大小不超过某个阈值。SecondaryNameNode与NameNode运行在不同的主机上,并且内存要与NameNode的内存一样大小。SecondaryNameNode将包含最新检查点信息的fsimage存储在与NameNode目录结构一致的目录中,这样SecondaryNameNode的fsimage总是在必要时可以被NameNode读取。SecondaryNameNode上检查点进程的启动被下面两个参数控制:

    dfs.namenode.checkpoint.period,指定了两次连续的检查点之间的最大间隔,默认值为3600秒,即1小时

   dfs.namenode.checkpoint.txns,定义了NameNode上未检查的事务的数量,当NameNode上未检查的事务的数量达到该值时,将会启动紧急检查点而不管 dfs.namenode.checkpoint.period 设置的时间间隔是否有效,默认值为1000000。

       CheckpointNode定期地创建命名空间的检查点。具体是如何做的呢?首先从NameNode下载fsimage和edits,然后在本地合并它们,然后将合并后的新的fsimage上传回NameNode,这样就避免了重新启动NameNode再合并fsimage和edits的问题。CheckpointNode与NameNode通常运行在不同的机器上,内存与NameNode的内存一样大小。使用参数dfs.namenode.backup.address设置CheckpointNode的地址,参数dfs.namenode.backup.http-address设置CheckpointNode的web地址,使用命令bin/hdfs namenode –checkpoint启动CheckpointNode。CheckpointNode控制检查点进程的参数与SecondaryNameNode上的参数一致,也是dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns。CheckpointNode上保存fsimage和edits文件的目录结构与NameNode上的一致。

       BackupNode不仅提供了与CheckpointNode相同的检查点功能,而且在内存中维护了文件系统命名空间的最新拷贝,该拷贝与NameNode中的状态总是同步的。除了从NameNode接收edits文件流外,BackupNode将这些edits文件在内存中创建副本,这样就创建了命名空间的备份。BackupNode不需要从NameNode下载fsimage和edits文件以创建检查点(CheckpointNode和SecondaryNameNode需要从NameNode下载这些文件),因为BackupNode已经在内存中最新的命名空间状态。BackupNode的检查点更加高效,因为它只需要将命名空间保存到本地fsimage文件中并重置edits文件。BackupNode的内存大小与NameNode的一样。

       NameNode一次只支持一个BackupNode,并且在启用BackupNode的同时不启用CheckpointNode。这一点也可以从参数dfs.namenode.backup.addres和dfs.namenode.backup.http-addres推断而出,因为配置BackupNode和CheckpointNode都是这两个参数。使用命令bin/hdfs namenode –backup启动BackupNode。BackupNode为NameNode运行而不需要持久化存储提供了选项,可以将持久化命名空间状态的责任委托给BackupNode,因为BackupNode实时地从NameNode取得命名空间的状态。要想实现该目的,在启动NameNode时使用-importCheckpoint选项,并在配置文件中将参数dfs.namenode.edits.dir设置为空。

       上面的学习描述了Hadoop-2.x版本中SecondaryNameNode、CheckpointNode和BackupNode的工作机制,通过学习可以发现在Hadoop-2.x中,对NameNode中命名空间状态的备份更加强大和高效,整个集群也因此具有更高的可用性和数据完整性,对于更多的细节,比如轮询、传输文件流到BackupNode,则需要结合配置文件中的相关参数和源代码进行更深层次的学习。

你可能感兴趣的:(Hadoop大数据入门)