flush触发方式
1. Server端执行更新操作(put、delete、multi(MultiAction<R>multi)、(private)checkAndMutate、mutateRow (byte[] regionName, RowMutations rm))执行前后触发内存检查
MemStoreFlusher .reclaimMemStoreMemory,如果regionserver使用memstore大于upper,则循环创建flush任务加入flushQueue,每次循环sleep5秒钟,这种检查是调用flushOneForGlobalPressure的flush
HRegion. checkResources(),如果当前region的memstore大于flushsize * multiplier,则循环调用requestFlush(),每次循环sleep(hbase.server.thread.wakefrequency),否则直接返回。
如果当前region达到flushsize,则触发requestFlush() 生成FlushRegionEntry包含当前region信息并加入flushQueue进行对指定region的flush。
所有执行flush操作的过程都是通过MemStoreFlusher的flushRegion完成。
HRegion.flushRegion过程
1. 判断文件数是否达到block要求hbase.hstore.blockingStoreFiles
如果达到的话,判断是否超过block时长hbase.hstore.blockingWaitTime
如果已经超过,则执行HRegion.flushcache()
如果没有超时
并且是第一次进入queue,则检查是否执行split和compact。
否则重新加入flushQueue延迟blockingWaitTime/100
2. 执行
HRegion.flushcache()->HRegion.internalFlushcache()
执行完成后再检查一次是否需要split和compact
HRegion.internalFlushcache过程
1. 为Region下的每个store创建一个StoreFlusherImpl
2. 为memstore生成snapshot,实际就是把集合赋值给flusher的内部集合,然后给memstore重新new一个集合。
3. Store. internalFlushCache,生成memstoreScanner将数据通过StoreFile.Writer写成HFile
出自:http://blog.csdn.net/eryk86/article/details/9061429 转载请注明出处