Hbase的log管理(一)
每一个Regionserver中都有一个HLog，一般情况下除非设置了SETWAL（false）否则对hbase的写操作在put到内存之前会append到log中以防止机器down 掉造成的数据丢失。
首先来看RS启动后对HLog的处理
private HLog setupWALAndReplication() throws IOException {
final Path oldLogDir = new Path(rootDir, HConstants.HREGION_OLDLOGDIR_NAME);
Path logdir = new Path(rootDir, HLog.getHLogDirectoryName(this.serverInfo));
if (this.fs.exists(logdir)) {// 若hbase/.logs存在则表明在该台机器上已经有regionserver启动了
throw new RegionServerRunningException("Region server already "
+ "running at " + this.serverInfo.getServerName()
+ " because logdir " + logdir.toString() + " exists");
}
.....
return instantiateHLog(logdir, oldLogDir);
}
看看instantiateHLog(logdir, oldLogDir);省略一些不重要的步骤，主要的步骤如下
if (!fs.mkdirs(dir)) { //创建.log目录下该regionserver目录，即为/hbase/.log/regionserver
throw new IOException("Unable to mkdir " + dir);
}
this.oldLogDir = oldLogDir;
if (!fs.exists(oldLogDir)) {//若/habse/.oldlogs目录不存在则创建之
if (!fs.mkdirs(this.oldLogDir)) {
throw new IOException("Unable to mkdir " + this.oldLogDir);
}
}
rollWriter();
rollWriter()函数主要完成以下功能：
1.新建一个 /regionserver目录下的文件
2.把旧文件移到/.oldlogs目录下
3.返回需要进行flush的regions
那么什么是旧文件呢？
hbase认为，如果一个文件的所有数据都已经刷到磁盘上了，该文件认为是旧文件，可以将其移除。如何判断一个文件的所有数据刷到磁盘了，用到的就是一个AtomicLong变量 seqnum来判定，这是一个递增的Long并且线程安全。一个文件的seqnum就是该文件最后写入entry的seqnum。
hbase默认一个小时会新建一个文件，并且会清除原先的旧文件。
a) Hlog维护一个ConcurrentSkipListMap<byte [], Long> lastSeqWritten的map其中byte是region的ecodedname，Long是每个entry写入Hlog的seqNum，当有新的entry写入Hlog 是putifabsent，而当memstore中的数据flush结束以后该map就会清除该region。因此该map维护的是最旧写入Hlog的entry的regionname和seqnum映射;
b) Hlog同时维护一个SortedMap<Long, Path> outputfiles，其中Path表示的是regionserver下的path，而Long指的是该Path的seqnum及path要关闭时此时的seqNum。
rollWriter()函数首先会创建一个新的文件，然后把原先的文件加入到outputfiles Map中，如果此时lastSeqWritten为空则说明当前所有的region都已经flush结束了，故可以把所有的outputfiles删除掉
否则需要选取合适的outputfiles进行删除，选取的是outputfiles中最老的且比lastSeqWritten中所有的value都小的path进行rename到oldlogs中。在整个过程中对该Hlog上锁防止在cleanoldlog是进行cacheflush
举个例子说明一下：
比如现在该rs下有4个文件，储存的是4个region的信息：
file1： RegionA，4表示的是文件名是file1，其中存储了一个entry其regionname是reginA，其seqNum是4，seqnum是递增的且新建的文件的seq比原先的大
file1： RegionA，4 RegionB，5 RegionC，6 RegionD，7
file2： RegionA，8 RegionB，9 RegionC，10
file3： RegionA，11 RegionB，12 RegionD，13
file4： RegionB，14
如上面所示,假设上面4个文件都存在，且假设此时lastSeqWritten 中存储的是RegionB，14
因为lastSeqWritten储存的是最新加入的entries且并没有被flush，这说明Region A，C，D都已经flush结束的，而file1，2,3，由于其seqnum都小于14，认为这些file都已经flush成功了，可以移除了，因为A,C,D都已经flush成功，而如果1,2,3中的Region B未flush那么此时lastSeqWritten存储的肯定不是14了而是小于十四的未flush的seq