hadoop集群之namenode故障切换
一、前言
本文续上篇 http://fire7758.blog.51cto.com/993821/1373790
HDFS 的单点故障问题是因为仅有一个NameNode。本文以共享 MetaData及SecondaryNamenode的2种方法讲述如何恢复备机为NameNode 进行工作。
共享 MetaData的方法，即通过共享FsImage 和EditLog，这种方法解决了NameNode 的单点失效问题，当一个NameNode 出错以后，另外一个NameNode 可以接替原来的NameNode 继续工作。由于，两者是共享FsImage 和EditLog 的，所以两者保存的内容一致，不存在数据同步的问题。但是，这种方法又带来了新的问题，由于两个NameNode 共享相同的MetaData，而MetaData 服务器带来了新的单点失效问题，当其失效的时候，尽管两个NameNode 都正常，但是系统且不能继续运行。
SecondaryNamenode的方法，是通过一段时间（默认1小时，或超过指定大小时）对FsImage 和EditLog进行合并，生成镜像文件。所以这种备份方式可能会丢失数据（最后一次checkpoint到故障点间的数据）。
二、故障切换操作：
本文以namenode进程意外终止为例
1）共享 MetaData恢复（即nfs备份恢复）
a）停止原主机服务
在mt-hadoop-name1上操作：
使用hadoop用户操作：
停止JobTracker服务
hadoop-daemon.sh stop jobtracker
停止vip
sudo ifconfig eth0:0 down
b）备机启动服务，恢复为主机
在mt-hadoop-name2上配置并启动namenode：
使用hadoop用户操作：
备份name目录
mv /srv/hadoop/name /srv/hadoop/name_`date +%Y%m%d`
创建name目录
mkdir /srv/hadoop/name
从nfs备份中恢复namenode元数据
cp -r /srv/hadoop/remote/name/* /srv/hadoop/name
启动新namenode
启动vip
sudo ifconfig eth0:0 172.26.10.140 netmask 255.255.255.0
启动新namenode
hadoop-daemon.sh start namenode
hadoop-daemon.sh start jobtracker
2）checkpoint恢复
a）停止原主机服务
在mt-hadoop-name1上操作：
使用hadoop用户操作：
停止JobTracker服务
hadoop-daemon.sh stop jobtracker
停止vip
sudo ifconfig eth0:0 down
b）通过checkpoint恢复元数据
在mt-hadoop-name2上配置并启动namenode。
使用hadoop用户操作：
备份本地name目录
mv /srv/hadoop/name /srv/hadoop/name_`date +%Y%m%d`
创建本地name目录
mkdir /srv/hadoop/name
备份nfs上name目录
mv /srv/hadoop/remote/name /srv/hadoop/remote/name_`date +%Y%m%d`
创建nfs上name目录
mkdir /srv/hadoop/remote/name
停止secondarynamenode
hadoop-daemon stop secondarynamenode
启动vip （因checkpoint恢复时会启动namenode，这里namenode监听在vip上）
sudo ifconfig eth0:0 172.26.10.140 netmask 255.255.255.0
从checkpoint备份中恢复namenode元数据
hadoop namenode -importCheckpoint
停止namenode
使用Ctrl+C结束
正式启动新namenode 这里原来的secondarynamenode仍在这里运行
hadoop-daemon.sh start namenode
hadoop-daemon.sh start jobtracker
hadoop-daemon.sh start secondarynamenode
三、验证
查看hdfs内容
hadoop fs -ls /
查看datanode报告
hadoop dfsadmin -report
hdfs文件系统检查
hadoop fsck /
