基于hadoop的Hbase集群丢失块信息后,清除Hbase数据,格式化hdfs文件系统

可以看到在hdfs文件系统中Hbase的元数据块丢失,这是非常严重的,因本人初学,所以采用格式化的方式来重建。
基于hadoop的Hbase集群丢失块信息后,清除Hbase数据,格式化hdfs文件系统_第1张图片
启动Hbase集群后显示如下错误:
基于hadoop的Hbase集群丢失块信息后,清除Hbase数据,格式化hdfs文件系统_第2张图片
1.清除数据之前先把Hbase和Hadoop及zookeeper(Hbase 依赖于zookeeper)的相关的进程都停掉
stop-hbase.sh(停Hbase进程) stop-all.sh(停Hadoop进程) zkServer.sh stop(停zookeeper)
2.下面清除hbase
删除部署了zookeeper的version文件夹(在Hbase配置文件hbase-site.xml 中查看配置的zk的本地目录)其实只留下里面的mid就行
3.再对Hadoop进行处理
删除临时目录文件
$>cd /tmp
$>rm -rf hadoop-centos
$>ssh s202 rm -rf /tmp/hadoop-centos
$>ssh s203 rm -rf /tmp/hadoop-centos
$>ssh s204 rm -rf /tmp/hadoop-centos

删除hadoop日志
$>cd /soft/hadoop/logs
$>rm -rf *
$>ssh s202 rm -rf /soft/hadoop/logs/*
$>ssh s203 rm -rf /soft/hadoop/logs/*
$>ssh s204 rm -rf /soft/hadoop/logs/*

格式化文件系统
$>hadoop namenode -format
4.重新启动hadoop和hbase
在我格式化hdfs之后重启有一个节点的datanode进程没有起来,查看日志发现错误为clusterID不一致:

  java.io.IOException: Incompatible clusterIDs in /home/centos/hadoop/dfs/data: namenode clusterID = CID-52aba6a3-4866-46d6-a8f6-2ff92f32b80c; datanode clusterID = CID-7a0b1dba-8c33-49a0-8cf9-b5fa1035cbc9

将r205中的~/hadoop下的VERSON中的 datanode clusterID 修改为与namenode clusterID一致即可

你可能感兴趣的:(大数据)