HBase优化思路及策略

高可用

HMaster高可用

在 HBase 中 Hmaster 负责监控 RegionServer 的生命周期，均衡 RegionServer 的负载，如果 Hmaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 Hmaster 的高可用配置。
HBase设计之初就考虑到了高可用，只需做配置backup-masters并启动多个HMaster即可

1. 关闭 HBase 集群（如果没有开启则跳过此步）
   bin/stop-hbase.sh
2. 在 conf 目录下创建 backup-masters 文件
   touch conf/backup-masters
3. 在 backup-masters 文件中配置高可用 HMaster 节点
   echo server02> conf/backup-masters
4. 将整个 conf 目录 scp 到其他节点
   scp -r conf/ server02:/opt/module/hbase/
   scp -r conf/ server01:/opt/module/hbase/
5. 启动HBase打开页面测试查看
   http://hadooo102:16010

regionServer高可用

RegionServer本身就是分布式，并且由HMaster完成负载和协调工作，如果有故障HMaster会将该节点的工作转移给其他节点。因此只要HMaster服务正常，regionServer本身就是高可用

预分区

RegionServer中每一个 region 维护着 startRow 与 endRowKey，如果加入的数据符合某个 region 维护的rowKey 范围，则该数据交给这个 region 维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高 HBase 性能。

预设分区方式

1. 建表是预设分区
   create ‘staff1’,‘info’,‘partition1’,SPLITS =>[‘1000’,‘2000’,‘3000’,‘4000’]

2. 生成 16 进制序列预分区
   create ‘staff2’,‘info’,‘partition2’,{NUMREGIONS => 15, SPLITALGO =>‘HexStringSplit’}

3. 按照文件中设置的规则预分区
   创建 splits.txt 文件内容如下：
   aaaa
   bbbb
   cccc
   dddd
   然后执行：
   create ‘staff3’,‘partition3’,SPLITS_FILE => ‘splits.txt’

4. 使用 JavaAPI 创建预分区
   //自定义算法，产生一系列 Hash 散列值存储在二维数组中
   byte[][] splitKeys = 某个散列值函数
   //创建 HBaseAdmin 实例
   HBaseAdmin hAdmin = new HBaseAdmin(HBaseConfiguration.create());
   //创建 HTableDescriptor 实例
   HTableDescriptor tableDesc = new HTableDescriptor(tableName);
   //通过 HTableDescriptor 实例和散列值二维数组创建带有预分区的 HBase 表
   hAdmin.createTable(tableDesc, splitKeys);

RowKey设计

RowKey是数据的唯一标识，也是决定数据分布在哪个分区的判断依据。合理的RowKey可以让数据均匀分布在各个分区，并根据业务将可能关联的数据都分布在同一分区。
这里以手机通话记录为例设计RowKey
数据字段为 ： 主叫号码： 13111111111 被叫号码 13333333213 通话时间 t1 通话时长 t2
假设考虑数据量及服务器性能等因素，需要将所有呼叫记录数据分布在30个分区上。如何设计rowkey？
考虑因素：

1. 均匀分布
2. 保证业务数据查询在一个分区内完成
3. 数据量很大考虑rowkey唯一性
   rowkey格式为： 主叫号码 对29取模确定数据分区。同时拼接主叫号码 +时间戳
   参考格式： (13111111111/29)_ 13111111111_350000121212

内存优化

HBase 操作过程中需要大量的内存开销，毕竟 Table 是可以缓存在内存中的，一般会分配整个可用内存的 70%给 HBase 的 Java 堆。但是不建议分配非常大的堆内存，因为 GC 过程持续太久会导致 RegionServer 处于长期不可用状态，一般 6~48G 内存就可以了，如果因为框架占用内存过高导致系统内存不足，框架一样会被系统服务拖死

配置优化

1. 优化客户端缓存
   hbase-site.xm文件中 hbase.client.write.buffer属性

增大该值可以减少 RPC 调用次数，但是会消耗更多内存，反之则反之。一般我们需要设定一定的缓存大小，以达到减少 RPC 次数的目的。

2. 指定 scan.next 扫描 HBase 所获取的行数
   hbase-site.xml文件 hbase.client.scanner.caching 属性
   设置 scan.next 方法获取的默认行数，值越大，消耗内存越大。

3. 优化 HStore 文件大小
   hbase-site.xml 文件 hbase.hregion.max.filesize 属性
   默认值 10737418240（10GB），如果需要运行 HBase 的 MR 任务，可以减小此值，因为一个 region 对应一个 map 任务，如果单个 region 过大，会导致 map 任务执行时间过长。该值的意思就是，如果 HFile 的大小达到这个数值，则这个 region 会被切分为两个 Hfile。

4. 优化数据的写入效率
   mapred-site.xml 文件mapreduce.map.output.compress和mapreduce.map.output.compress.codec属性，第一个属性值修改为true，第二个属性值修改为：org.apache.hadoop.io.compress.GzipCodec 或者其他压缩方式