hbase 0.94.3代码学习-flush(1)

flush触发方式

1. Server端执行更新操作(put、delete、multi(MultiAction<R>multi)、(privatecheckAndMutate、mutateRow (byte[] regionName, RowMutations rm))执行前后触发内存检查

  • 操作执行前

MemStoreFlusher .reclaimMemStoreMemory,如果regionserver使用memstore大于upper,则循环创建flush任务加入flushQueue,每次循环sleep5秒钟,这种检查是调用flushOneForGlobalPressure的flush

  • 操作执行前

HRegion. checkResources(),如果当前region的memstore大于flushsize * multiplier,则循环调用requestFlush(),每次循环sleep(hbase.server.thread.wakefrequency),否则直接返回。

  • 执行操作HRegion的internal*
  • 执行操作后

如果当前region达到flushsize,则触发requestFlush() 生成FlushRegionEntry包含当前region信息并加入flushQueue进行对指定region的flush。

 

所有执行flush操作的过程都是通过MemStoreFlusher的flushRegion完成。

HRegion.flushRegion过程

1.    判断文件数是否达到block要求hbase.hstore.blockingStoreFiles

如果达到的话,判断是否超过block时长hbase.hstore.blockingWaitTime

如果已经超过,则执行HRegion.flushcache()

如果没有超时

并且是第一次进入queue,则检查是否执行split和compact。

否则重新加入flushQueue延迟blockingWaitTime/100

2.    执行

HRegion.flushcache()->HRegion.internalFlushcache()

执行完成后再检查一次是否需要split和compact

 

HRegion.internalFlushcache过程

1.    为Region下的每个store创建一个StoreFlusherImpl

2.    为memstore生成snapshot,实际就是把集合赋值给flusher的内部集合,然后给memstore重新new一个集合。

3.    Store. internalFlushCache,生成memstoreScanner将数据通过StoreFile.Writer写成HFile


出自:http://blog.csdn.net/eryk86/article/details/9061429 转载请注明出处

你可能感兴趣的:(hbase 0.94.3代码学习-flush(1))