Hbase性能调优

client端

HTable.setAutoFlush(false) 关闭客户端自动刷新

HTable.setWriteBufferSize(writeBufferSize)

设置HTable客户端的写buffer大小,与上面的参数配合使用。当达到设置的writeBufferSize时,才会触发提交到服务端的请求。(不适合实时读写业务)

Put.setWriteToWAL(false) 关闭WAL日志

客户端向集群中的RegionServer提交PUT数据时,首先会先写WAL(Write Ahead Log)日志(即HLog),只有当WAL日志写成功后,再接着写MemStore,然后客户端被通知提交数据成功;如果写WAL日志失败,客户端则被通知提交失败。这样做的好处是可以做到RegionServer宕机后的数据恢复。

关闭WAL可提升写入性能,但是一旦RegionServer宕机,Put的数据将会无法根据WAL日志进行恢复。

批量PUT(put(List)),多线程写入。根据业务选择。

在spark写入hbase时,可以使用Mapreduce的方式,具体参考api saveAsHadoopDataset。

server端

server端写入数据流程

从zookeeper中的meta表获取region信息,根据表名,rowkey找到对应的regionserver。

数据写到HLog(参考client端的关闭WAL日志操作)和Memostore

MemStore达到一个阈值后则把数据刷成一个StoreFile文件。若MemStore中的数据有丢失,则可以总HLog上恢复

当多个StoreFile文件达到一定的大小后,会触发Compact合并操作,合并为一个StoreFile,这里同时进行版本的合并和数据删除

当Compact后,逐步形成越来越大的StoreFile后,会触发Split操作,把当前的StoreFile分成两个,这里相当于把一个大的region分割成两个region

根据上述流程,server调优可选参数如下:

Heapsize

增加hbase内存是提升性能最重要的参数,但是具体方案和业务相关(简单说来主要包括读多写少型和写多读少型),配置时考虑到底使用BucketCache还是使用LRUBlockCache模式。

配置参数时选择在CDH的Hbase配置界面搜索heapsize,offheap,根据实际业务和服务器资源调整相应参数。

参考https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0/bk_Sys_Admin_Guides/content/ref-1e85903e-0358-410e-9b6d-13ac2036fb71.1.html

减少compaction(hbase.hstore.compactionThreshold)

默认为3,适当增加到5-10,即HStoreFiles数量超过该参数时,执行compaction。增加参数可减少compaction的次数,但是同时需要更大的内存。

hbase.hstore.compaction.max

每次minor compact最多的文件个数,和上面2类似,增加个数会使用更大内存。默认为10,可增加到30.

hbase.client.write.buffer

客户端写buffer,设置autoFlush为false时,当客户端写满buffer才flush。(参考client端调优1,该参数也可以在client端设置)

hbase.regionserver.handler.count

regionserver处理IO请求的线程数,根据集群资源适当调整。线程数越多,内存使用越高。建议30-50。

hbase.regionserver.maxlogs

regionserver的hlog数量,(参考client端调优3),默认32,可适当增加。

hbase.hstore.blockingStoreFiles

当某个HStore中HStoreFiles的数量超过该参数时,HRegion会阻塞写入以等待compaction。可增加该参数至30-100。

hbase.regionserver.thread.compaction.small

small compaction的线程数,默认为1,建议增加到5。

---------------------

本文来自 onwingsofsong 的CSDN 博客 ,全文地址请点击:https://blog.csdn.net/onwingsofsong/article/details/80207189?utm_source=copy

你可能感兴趣的:(Hbase性能调优)