zookeeper 监控指标

目前zookeeper获取监控指标已知的有两种方式：

1、通过zookeeper自带的 four letter words command 获取各种各样的监控指标

2、通过JMX Client连接zookeeer对外提供的MBean来 获取监控指标 （需要修改启动脚本，使其支持远程JMX连接）

上述两种方式获取的指标大体上是一致的。

通过下列命令来获取这些监控信息 echo commands  |  nc ip port

如：

echo conf | nc 192.168.144.110 2181

现在吧能获取到的监控大致列出来:

conf:

能够获取到zookeeper的配置信息，包括

客户端端口，

数据以及日志路径，

间隔单位时间，

单台server与单个client端的连接数限制，

超时时间，

serverId等等信息，

Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。Leader允许F在initLimit时间内完成这个工作。

在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的存活状态。如果L发出心跳包在syncLimit之后，还没有从F那里收到响应，那么就认为这个F已经不在线了。

选举端口。

详细信息如下：

clientPort=2181
dataDir=/export/servers/zookeeper-3.4.6/data/version-2
dataLogDir=/export/servers/zookeeper-3.4.6/logs/version-2
tickTime=2000
maxClientCnxns=60
minSessionTimeout=4000
maxSessionTimeout=40000
serverId=2
initLimit=10
syncLimit=5
electionAlg=3
electionPort=3888
quorumPort=2888
peerType=0

cons:

连接信息的总览，

连接ip

端口号

该连接的发包数

该连接的收包数

连接的session Id

最后操作方式/命令

连接的时间戳

超时时间（未确认）

最后的zxid

最后的响应时间戳

连接的时间延时信息

等

详细信息如下：

/192.168.147.102:56168[1](queued=0,recved=60,sent=60,sid=0x24b3673bb141d0e,lop=PING,est=1422614959584,to=40000,lcxid=0x9,lzxid=0xffffffffffffffff,lresp=1422615627690,llat=1,minlat=0,avglat=0,maxlat=1)
 /192.168.162.16:43107[1](queued=0,recved=619,sent=643,sid=0x24b3673bb1419fa,lop=PING,est=1422610618969,to=30000,lcxid=0x7c,lzxid=0xffffffffffffffff,lresp=1422615623122,llat=0,minlat=0,avglat=1,maxlat=296)
 /192.168.162.16:43110[1](queued=0,recved=411,sent=427,sid=0x14b36741ee41b17,lop=PING,est=1422611808516,to=30000,lcxid=0x6d,lzxid=0xffffffffffffffff,lresp=1422615622028,llat=0,minlat=0,avglat=3,maxlat=444)
 /192.168.144.107:38698[1](queued=0,recved=2,sent=2,sid=0x24b3673bb141da3,lop=NA,est=1422615628413,to=20000,lcxid=0x1,lzxid=0x68000ad897,lresp=1422615629458,llat=2,minlat=0,avglat=1,maxlat=2)
 /192.168.162.16:43117[1](queued=0,recved=62,sent=62,sid=0x24b3673bb141d05,lop=PING,est=1422614913239,to=40000,lcxid=0x8,lzxid=0xffffffffffffffff,lresp=1422615620045,llat=1,minlat=0,avglat=1,maxlat=53)
 /192.168.144.98:34702[1](queued=0,recved=5027,sent=5027,sid=0x24b3673bb14001f,lop=PING,est=1422548712199,to=40000,lcxid=0xc,lzxid=0xffffffffffffffff,lresp=1422615622652,llat=1,minlat=0,avglat=1,maxlat=1151)
 /192.168.144.98:34135[1](queued=0,recved=7111,sent=7216,sid=0x24b3673bb140007,lop=PING,est=1422548006229,to=30000,lcxid=0x17d,lzxid=0xffffffffffffffff,lresp=1422615626940,llat=1,minlat=0,avglat=1,maxlat=1004)
 /192.168.162.16:43109[1](queued=0,recved=779,sent=832,sid=0x4b3673ce4a1a4d,lop=PING,est=1422611214674,to=30000,lcxid=0x7db,lzxid=0xffffffffffffffff,lresp=1422615623541,llat=0,minlat=0,avglat=1,maxlat=468)
 /192.168.147.102:56039[1](queued=0,recved=382437,sent=382437,sid=0x24b3673bb141c7a,lop=GETD,est=1422614382595,to=20000,lcxid=0x5d5e4,lzxid=0x68000ad89b,lresp=1422615629750,llat=0,minlat=0,avglat=0,maxlat=570)
 /192.168.147.101:44124[1](queued=0,recved=19853228,sent=19853228,sid=0x24b3673bb140000,lop=GETD,est=1422547738803,to=20000,lcxid=0x12eefa9,lzxid=0x68000ad89b,lresp=1422615629750,llat=0,minlat=0,avglat=0,maxlat=8325)
 /192.168.147.102:39271[1](queued=0,recved=4819,sent=4820,sid=0x24b3673bb1400cc,lop=PING,est=1422551694373,to=40000,lcxid=0x19,lzxid=0xffffffffffffffff,lresp=1422615627807,llat=0,minlat=0,avglat=1,maxlat=893)
 /192.168.144.107:45476[1](queued=0,recved=18796922,sent=18796922,sid=0x24b3673bb14038c,lop=GETD,est=1422555547627,to=20000,lcxid=0x11ed178,lzxid=0x68000ad89b,lresp=1422615629750,llat=0,minlat=0,avglat=0,maxlat=8325)
 /192.168.162.16:43124[0](queued=0,recved=1,sent=0)
 /192.168.144.106:47163[1](queued=0,recved=1919891,sent=1919891,sid=0x24b3673bb14003e,lop=GETD,est=1422549512849,to=20000,lcxid=0x1d4b8f,lzxid=0x68000ad897,lresp=1422615629580,llat=1,minlat=0,avglat=0,maxlat=2678)
 /172.17.36.11:32728[1](queued=0,recved=6009,sent=6021,sid=0x24b3673bb1403ca,lop=PING,est=1422555925304,to=30000,lcxid=0x31,lzxid=0xffffffffffffffff,lresp=1422615622868,llat=0,minlat=0,avglat=1,maxlat=513)
 /192.168.144.102:34378[1](queued=0,recved=6643,sent=6751,sid=0x24b3673bb1401d2,lop=PING,est=1422553000472,to=30000,lcxid=0x192,lzxid=0xffffffffffffffff,lresp=1422615623376,llat=1,minlat=0,avglat=1,maxlat=880)
 /192.168.162.16:43108[1](queued=0,recved=379,sent=379,sid=0x24b3673bb141a00,lop=PING,est=1422610718273,to=40000,lcxid=0xa,lzxid=0xffffffffffffffff,lresp=1422615629070,llat=0,minlat=0,avglat=2,maxlat=291)
 null[0](queued=0,recved=3,sent=2,sid=0x4b305d40f933dd,lop=GETC,est=1422615629686,to=30000,lcxid=0x1934a,lzxid=0x68000ad89b,lresp=1422615629689,llat=0,minlat=0,avglat=0,maxlat=0)
 /192.168.162.16:43112[1](queued=0,recved=376,sent=386,sid=0x4b3673ce4a1ab7,lop=PING,est=1422612058410,to=30000,lcxid=0x54,lzxid=0xffffffffffffffff,lresp=1422615621245,llat=0,minlat=0,avglat=1,maxlat=483)
 /192.168.147.102:56038[1](queued=1,recved=382733,sent=382732,sid=0x24b3673bb141c79,lop=GETD,est=1422614380708,to=20000,lcxid=0x5d70b,lzxid=0x68000ad89b,lresp=1422615629748,llat=59,minlat=0,avglat=0,maxlat=570)
 /192.168.144.103:45100[1](queued=0,recved=6816,sent=6903,sid=0x24b3673bb140040,lop=PING,est=1422549539691,to=30000,lcxid=0xe7,lzxid=0xffffffffffffffff,lresp=1422615623049,llat=0,minlat=0,avglat=1,maxlat=909)
 /192.168.144.107:45488[1](queued=1,recved=18790392,sent=18790391,sid=0x24b3673bb140391,lop=GETD,est=1422555569021,to=20000,lcxid=0x11eb7f5,lzxid=0x68000ad89b,lresp=1422615629748,llat=56,minlat=0,avglat=0,maxlat=8325)
 /192.168.144.107:38694[1](queued=0,recved=743,sent=743,sid=0x24b3673bb141da2,lop=GETD,est=1422615626179,to=20000,lcxid=0x2e6,lzxid=0x68000ad89b,lresp=1422615629750,llat=0,minlat=0,avglat=0,maxlat=59)
 /192.168.162.16:43115[1](queued=0,recved=159,sent=159,sid=0x24b3673bb141c69,lop=PING,est=1422614308831,to=30000,lcxid=0x1b,lzxid=0xffffffffffffffff,lresp=1422615624623,llat=0,minlat=0,avglat=2,maxlat=71)
 /192.168.144.107:38688[1](queued=0,recved=1442,sent=1442,sid=0x24b3673bb141da1,lop=GETD,est=1422615623769,to=20000,lcxid=0x5a1,lzxid=0x68000ad89b,lresp=1422615629750,llat=0,minlat=0,avglat=0,maxlat=170)

crst:

重置连接状态，是一个execute 操作 不是一个select 操作

执行后返回一个状态信息：

Connection stats reset.

dump:

输出所有等待队列中的会话和临时节点的信息

0x24b3673bb140000:
     /magpie/workerbeats/11011599
0x14b36741ee41de4:
     /phenix/servers/px0000000816
     /phenix/myGroups/1
0x14b049fe56b89e5:
     /hbase/rs/hhz111,60021,1422454057830
0x4b305d40f92989:
     /hbase/rs/hhz115,60021,1422521527024
0x14b36741ee41edc:
     /magpie/workerbeats/3502573
0x24b3673bb141dc6:
     /magpie/workerbeats/3002570

envi:

当前server的环境信息：

版本信息

主机的host

jvm相关参数：version，classpath，lib等等

os相关参数：name，version等等

当前host用户信息：name，dir等等

Environment:
zookeeper.version=3.4.6-1569965, built on 02/20/2014 09:09 GMT
host.name=hhz112
java.version=1.7.0_60
java.vendor=Oracle Corporation
java.home=/export/servers/jdk1.7.0_60/jre
java.class.path=/export/servers/zookeeper-3.4.6/bin/../build/classes:/export/servers/zookeeper-3.4.6/bin/../build/lib/*.jar:/export/servers/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/export/servers/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/export/servers/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/export/servers/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/export/servers/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/export/servers/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/export/servers/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/export/servers/zookeeper-3.4.6/bin/../conf:/export/servers/zookeeper-3.4.6/bin/../build/classes:/export/servers/zookeeper-3.4.6/bin/../build/lib/*.jar:/export/servers/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/export/servers/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/export/servers/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/export/servers/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/export/servers/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/export/servers/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/export/servers/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/export/servers/zookeeper-3.4.6/bin/../conf:.:/export/servers/jdk1.6.0_25/lib/dt.jar:/export/servers/jdk1.6.0_25/lib/tools.jar
java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
java.io.tmpdir=/tmp
java.compiler=
os.name=Linux
os.arch=amd64
os.version=2.6.32-358.el6.x86_64
user.name=hhz
user.home=/home/hhz
user.dir=/export/servers/zookeeper-3.4.6

ruok:

查询当前server状态是否正常 若正常返回imok

imok

srst:

同样是一个execute操作而不是select，重置server状态：

Server stats reset.

srvr:

server的简要信息：

版本

延时

收包数

发包数

连接数

状态等信息

Zookeeper version: 3.4.6-1569965, built on 02/20/2014 09:09 GMT
Latency min/avg/max: 0/0/182
Received: 97182
Sent: 97153
Connections: 22
Outstanding: 8
Zxid: 0x68000af381
Mode: follower
Node count: 101065

stat:

一些状态信息和连接信息，是前面一些信息的组合：

Zookeeper version: 3.4.6-1569965, built on 02/20/2014 09:09 GMT
Clients:
 /192.168.147.102:56168[1](queued=0,recved=41,sent=41)
 /192.168.144.102:34378[1](queued=0,recved=54,sent=54)
 /192.168.162.16:43108[1](queued=0,recved=40,sent=40)
 /192.168.144.107:39948[1](queued=0,recved=1421,sent=1421)
 /192.168.162.16:43112[1](queued=0,recved=54,sent=54)
 /192.168.162.16:43107[1](queued=0,recved=54,sent=54)
 /192.168.162.16:43110[1](queued=0,recved=53,sent=53)
 /192.168.144.98:34702[1](queued=0,recved=41,sent=41)
 /192.168.144.98:34135[1](queued=0,recved=61,sent=65)
 /192.168.162.16:43109[1](queued=0,recved=54,sent=54)
 /192.168.147.102:56038[1](queued=0,recved=165313,sent=165314)
 /192.168.147.102:56039[1](queued=0,recved=165526,sent=165527)
 /192.168.147.101:44124[1](queued=0,recved=162811,sent=162812)
 /192.168.147.102:39271[1](queued=0,recved=41,sent=41)
 /192.168.144.107:45476[1](queued=0,recved=166422,sent=166423)
 /192.168.144.103:45100[1](queued=0,recved=54,sent=54)
 /192.168.162.16:43133[0](queued=0,recved=1,sent=0)
 /192.168.144.107:39945[1](queued=0,recved=1825,sent=1825)
 /192.168.144.107:39919[1](queued=0,recved=325,sent=325)
 /192.168.144.106:47163[1](queued=0,recved=17891,sent=17891)
 /192.168.144.107:45488[1](queued=0,recved=166554,sent=166555)
 /172.17.36.11:32728[1](queued=0,recved=54,sent=54)
 /192.168.162.16:43115[1](queued=0,recved=54,sent=54)

Latency min/avg/max: 0/0/599
Received: 224869
Sent: 224817
Connections: 23
Outstanding: 0
Zxid: 0x68000af707
Mode: follower
Node count: 101081

wchs:

有watch path的连接数 以及watch的path数 和 watcher数

13 connections watching 102 paths
Total watches:172

wchc:

连接监听的所有path：(考虑吧cons命令 信息整合)

0x24b3673bb14001f
	/hbase/root-region-server
	/hbase/master

wchp:

path被那些连接监听：（考虑把cons命令 信息整合）

/dubbo/FeedInterface/configurators
	0x4b3673ce4a1a4d
/dubbo/UserInterface/providers
	0x14b36741ee41b17
	0x4b3673ce4a1a4d
	0x24b3673bb1401d2
	0x4b3673ce4a1ab7

mntr：

用于监控zookeeper server 健康状态的各种指标：

版本

延时

收包

发包

连接数

未完成客户端请求数

leader/follower 状态

znode 数

watch 数

临时节点数

近似数据大小 应该是一个总和的值

打开文件描述符 数

最大文件描述符 数

fllower数

等等

zk_version	3.4.6-1569965, built on 02/20/2014 09:09 GMT
zk_avg_latency	0
zk_max_latency	2155
zk_min_latency	0
zk_packets_received	64610660
zk_packets_sent	64577070
zk_num_alive_connections	42
zk_outstanding_requests	0
zk_server_state	leader
zk_znode_count	101125
zk_watch_count	315
zk_ephemerals_count	633
zk_approximate_data_size	27753592
zk_open_file_descriptor_count	72
zk_max_file_descriptor_count	4096
zk_followers	2
zk_synced_followers	2
zk_pending_syncs	0

以上是基于3.4版本的zookeeper four letter words 能拿出的所有信息指标。