HBase学习笔记 （肆）- 容灾与监控 **

Hbase备份与恢复

四种方案：
◆Export / Import ◆CopyTable ●Replication ●Snapshot

CopyTable

• 支持时间区间 、row区间,改变表名称, 改变列族名称,指定是否 Copy已经被删除的数据等功能,
• CopyTable工具采用scan查询, 写入新表时采用put和delete API, 全是基于hbase的client Api进行读写

1、利用CoprocessorTest来测试

2、先创建一个表

3、执行CopyTable 操作

4、查看此时两表相同

Export/Import

• Export可导出数据到目标集群, 然后可在目标集群Import导入数据, Export支持指定开始时间和结束时间, 因此可以做增量备份.
• Export导出工具与CopyTable一样是依赖hbase的scan读取数据

1、执行Export

查看hdfs目录是否有这个文件

2、执行Import
清空表


数据恢复

Snapshot

• Snapshot即快照的意思, 作用于表上；通过配置hbase-site.xml开启该功能
  
• 可以快速的恢复表至快照指定的状态从而迅速的修复数据 (会丢失快照之后的数据)

对于快照操作的shell命令

测试列出快照；其他操作略

恢复数据

Replication

• 可以通过replication机制实现hbase集群的主从模式
• Replication是依赖wal日志进行的同步(Replication必须开启WAL)
  
  

总结

• CopyTable喝Export/Import这两种方式是基于MapReduce性能不是太高；
• Replication是一种比较常见的方式；本质上利用了endpoint协处理器对WAL日志进行顺序读取来达到备份的目的；
• Snapshot是作用于表上，实际上针对元数据的快照，并不直接备份HFile，所以说它可以快速的将表恢复的快照的状态，从而迅速的进行数据的修复；

Hbase监控简介

为什么需要监控

• 为了保证系统的稳定性, 可靠性, 可运维性
• 了解集群的性能表现, 及时做出针对性调整
• 集群出现问题及时报警, 帮助运维快速定位与解决问题

如何监控HBase集群

• 利用Hadoop生态圈开源的专业监控工具(Ambari)
• 自己调用Hadoop和HBase的JMX接口获取监测数据

顶级项目: Ambari

• Ambari跟Hadoop等开源软件一样, 是Apache基金会的顶级项目
• 创建 、 管理 、 监视Hadoop的集群 (Hadoop生态圈)
• Ambari就是为了让Hadoop以及相关的大数据软件更容易使用的一个工具
  
  

Hadoop JMX监控实战

代码太多已打包上传到资源：https://download.csdn.net/download/bingdianone/10848206
实体类
DataNodeInfo ：datanode的一些属性
HdfsSummary ：hdfs的属性

工具类
JsonUtil :将json格式转化为某个类

StatefulHttpClient ：访问http的客户端

MonitorMetrics：返回的是图中beans里的东西

HadoopUtil：获取Hadoop的一些属性以及打印出来

Hbase JMX监控实战

代码太多已打包上传到资源：https://download.csdn.net/download/bingdianone/10848206