hbase集群同步

由于当前阶段需要对生产集群(cdh5.14,)的hbase数据进行灾备(备份集群cdh6.1),开始调研hbase的集群同步方案。
主要是两种场景:

  • 需要hbase的存量数据。有些业务已经积累了大量数据。
  • 不需要hbase的存量数据。这种主要是一些表的数据很快全量更新的,另外一些表可以新建。

调研

  • 支持cdh5与cdh6集群之间的同步

不会同步的修改

  • 同步之前的数据
  • 绕过了WAL的操作。比如BulkLoad 或者 `write

todo

一个常见的集群同步案例

hbase集群同步_第1张图片
image.png
  • 方块是集群
  • 有向连接性表示数据同步的方向

参考

  • HBase 常用Shell命令
  • 什么是预写日志WAL(Write-Ahead-Log)?

你可能感兴趣的:(hbase集群同步)