zookeeper使用（四）：Zookeeper 相关日志查询

                                   zookeeper使用（四）：Zookeeper 相关日志查询

 

参考博客：https://blog.csdn.net/liukuan73/article/details/78047786

                http://www.solinx.co/archives/448

zookeeper服务器会产生三类日志：事务日志、快照日志和log4j日志。

 

　　在zookeeper默认配置文件zoo.cfg（可以修改文件名）中有一个配置项dataDir，该配置项用于配置zookeeper快照日志和事务日志的存储地址。在官方提供的默认参考配置文件zoo_sample.cfg中，只有dataDir配置项。其实在实际应用中，还可以为事务日志专门配置存储地址，配置项名称为dataLogDir，在zoo_sample.cfg中并未体现出来。在没有dataLogDir配置项的时候，zookeeper默认将事务日志文件和快照日志文件都存储在dataDir对应的目录下。建议将事务日志（dataLogDir）与快照日志（dataLog）单独配置，因为当zookeeper集群进行频繁的数据读写操作是，会产生大量的事务日志信息，将两类日志分开存储会提高系统性能，而且，可以允许将两类日志存在在不同的存储介质上，减少磁盘压力。log4j用于记录zookeeper集群服务器运行日志，该日志的配置地址在conf/目录下的log4j.properties文件中，该文件中有一个配置项为“zookeeper.log.dir=.”，表示log4j日志文件在与执行程序（zkServer.sh）在同一目录下。当执行zkServer.sh 时，在该文件夹下会产生zookeeper.out日志文件。下面主要介绍事务日志与快照日志。

 

一、事务日志

　　事务日志指zookeeper系统在正常运行过程中，针对所有的更新操作，在返回客户端“更新成功”的响应前，zookeeper会保证已经将本次更新操作的事务日志已经写到磁盘上，只有这样，整个更新操作才会生效。

　　根据上文所述，可以通过zoo.cfg文件中的dataLogDir配置项找到事物日志存储地点：

 

　　在datalog/目录下存在一个文件夹version-2，该文件夹中保存着事物日志文件:

　　从截图中我们可以看出，日志文件的命名规则为log.**，文件大小为64MB，**表示写入该日志的第一个事务的ID，十六进制表示。

事务日志可视化

　　zookeeper的事务日志为二进制文件，不能通过vim等工具直接访问。其实可以通过zookeeper自带的jar包读取事务日志文件。

　　　首先将libs中的slf4j-api-1.6.1.jar文件和zookeeper根目录下的zookeeper-3.4.9.jar文件复制到临时文件夹tmplibs中，然后执行如下命令：

java -classpath .:slf4j-api-1.6.1.jar:zookeeper-3.4.9.jar org.apache.zookeeper.server.LogFormatter   /data0/zookeeper/zookeeper0/data/log/version-2/log.190012deab

 

 

日志分析：
　　第一行：ZooKeeper Transactional Log File with dbid 0 txnlog format version 2
　　上面的代码分析中有说到每个日志文件都有一个这就是那里所说的日志头，这里magic没有输出，只输出了dbid还有version；

　　第二行：15-8-12 下午03时59分53秒 session 0x14f20ea71c10000 cxid 0x0 zxid 0x1 createSession 4000
　　这也就是具体的事务日志内容了，这里是说xxx时间有一个sessionid为0x14f20ea71c10000、cxid为0x0、zxid为0x1、类型为createSession、超时时间为4000毫秒

　　第三行：15-8-12 下午03时59分54秒 session 0x14f20ea71c10000 cxid 0x1 zxid 0x2 create ‘/solinx0000000000,#736f6c696e78,v{s{31,s{‘world,’anyone}}},F,1
　　sessionID为0x14f20ea71c10000，cxid：0x01、zxid：0x02、创建了一个节点路径为：/solinx0000000000、节点内容为：#736f6c696e78(经过ASCII，实际内容为solinx)、acl为world:anyone任何人都可以管理该节点、节点不是ephemeral节点的、父节点子版本：1

　　第四行：15-8-12 下午04时15分56秒 session 0x14f20ea71c10000 cxid 0x0 zxid 0x3 closeSession null

　   这里是说xxx时间有一个sessionid为0x14f20ea71c10000、cxid为0x0、zxid为0x3、类型为closeSession

 

 

二、快照日志

　　zookeeper的数据在内存中是以树形结构进行存储的，而快照就是每隔一段时间就会把整个DataTree的数据序列化后存储在磁盘中，这就是zookeeper的快照文件。

　　zookeeper快照日志的存储路径同样可以在zoo.cfg中查看，如上文截图所示。访问dataDir路径可以看到version-2文件夹:

　　从截图中可以看出，zookeeper快照文件的命名规则为snapshot.**，其中**表示zookeeper触发快照的那个瞬间，提交的最后一个事务的ID。

快照日志可视化

 java -classpath .:slf4j-api-1.6.1.jar:zookeeper-3.4.9.jar  org.apache.zookeeper.server.SnapshotFormatter   /data0/zookeeper/zookeeper0/data/data/version-2/snapshot.190011c466

 

 

 

快照分析
　　快照文件就很容易看得懂了，这就是Zookeeper整个节点数据的输出；

　　第一行：ZNode Details (count=11):
　　ZNode节点数总共有11个

　　/cZxid = 0x00000000000000
　　ctime = Thu Jan 01 08:00:00 CST 1970
　　mZxid = 0x00000000000000
　　mtime = Thu Jan 01 08:00:00 CST 1970
　　pZxid = 0x00000000000016
　　cversion = 7
　　dataVersion = 0
　　aclVersion = 0
　　ephemeralOwner = 0x00000000000000
　　dataLength = 0

这么一段数据是说，根节点/：
　　cZxid：创建节点时的ZXID
　　ctime：创建节点的时间
　　mZxid：节点最新一次更新发生时的zxid
　　mtime：最近一次节点更新的时间
　　pZxid：父节点的zxid
　　cversion：子节点更新次数
　　dataVersion：节点数据更新次数
　　aclVersion：节点acl更新次数
　　ephemeralOwner：如果节点为ephemeral节点则该值为sessionid，否则为0
　　dataLength：该节点数据的长度

快照文件的末尾：
　　Session Details (sid, timeout, ephemeralCount): 　　0x14f211584840000, 4000, 0 　　0x14f211399480001, 4000, 0
　　这里是说当前抓取快照文件的时间Zookeeper中Session的详情，有两个session超时时间都是4000毫秒ephemeral节点为0；

 

 

 

三、日志清理

　　在zookeeper 3.4.0以后，zookeeper提供了自动清理snapshot和事务日志功能，通过配置zoo.cfg下的autopurge.snapRetainCount和autopurge.purgeInterval这两个参数实现日志文件的定时清理。

　　autopurge.snapRetainCount这个参数指定了需要保留的文件数目，默认保留3个；

　　autopurge.purgeInterval这个参数指定了清理频率，单位是小时，需要填写一个1或者更大的数据，默认0表示不开启自动清理功能。