zookeeper watcher使用注意点

背景

 项目中使用了zookeeper进行的类似工作流引擎的工作流转，将一次工作请求拆分了4个节点(S/E/T/L)。S阶段做完后，通过zk的watcher触发下一个E节点进行处理，S和E可能为不同的jvm上，所以需要走一个分布式的消息进行通知。

思路

基于zookeeper做持久化watcher，项目中直接使用zookeeper官方api，大致的工作模型：

 

private synchronized void initNodes(List<String> nodes) {
    // 根据zk节点，判断是否需要处理
}

private void syncNodes() {
        try {
            List<String> nodes = zookeeper.getChildren(ArbitrateConstants.NODE_NID_ROOT, new AsyncWatcher() {

                public void asyncProcess(WatchedEvent event) {
                    syncNodes();// 继续关注node节点变化
                }
            });

            initNodes(nodes);
        } catch (KeeperException e) {
            syncNodes();
        } catch (InterruptedException e) {
            // ignore
        }
    }

 

• 有两个方法initNodes 和 syncNodes，  syncNodes主要是监听zookeeper的节点变化
• syncNodes会通过级联方式，在每次watcher被触发后，就会再挂一次watcher。完成了一个类似链式触发的功能

遇到的问题

系统上线运行后，跑了几天时间，跑出了一个OutOfMemory的问题，jmap dump了下对应的内存数据文件，发现了一个zk使用上的问题.

 

 

 

a. 通过mat分析查看了下jvm中占用内存最大的对象，居然是zookeeper中的一个waitingEvents.： 

b. waitingEvents中的WatcherSetEventPair对象中，包含了一个待响应的watchers和对应的响应event事件对象，对应的watchers数量居然有300W个

问题分析：

分析了下WatcherSetEventPair中的处理机制。 

 

Event响应中对应EventType的枚举类型：(存在一个特殊的None类型)

 

 

• None (-1),
• NodeCreated (1),
• NodeDeleted (2),
• NodeDataChanged (3),
• NodeChildrenChanged (4);
  
  

查了下代码，None类型会在Session expired / connection loss/  auth failed得到对应的触发，对应的触发path为null

代码：

eventThread.queueEvent(new WatchedEvent(
                        Watcher.Event.EventType.None,
                        Watcher.Event.KeeperState.Expired, null));

针对None类型，在获取对应的watcher响应时：

public Set<Watcher> materialize(Watcher.Event.KeeperState state,
                                        Watcher.Event.EventType type,
                                        String clientPath)
        {
            Set<Watcher> result = new HashSet<Watcher>();

            switch (type) {
            case None:
                result.add(defaultWatcher);
                for(Set<Watcher> ws: dataWatches.values()) {
                    result.addAll(ws);
                }
                for(Set<Watcher> ws: existWatches.values()) {
                    result.addAll(ws);
                }
                for(Set<Watcher> ws: childWatches.values()) {
                    result.addAll(ws);
                }

                // clear the watches if auto watch reset is not enabled
                if (ClientCnxn.getDisableAutoResetWatch() &&
                        state != Watcher.Event.KeeperState.SyncConnected)
                {
                    synchronized(dataWatches) {
                        dataWatches.clear();
                    }
                    synchronized(existWatches) {
                        existWatches.clear();
                    }
                    synchronized(childWatches) {
                        childWatches.clear();
                    }
                }

                return result;

针对出现None的类型，会将所有的watcher进行触发， 同时并不会移除watcher，所以，watcher会在下一次reconnect成功后再次触发，除非设置DisableAutoResetWatch

总结

a.  需要明确watcher的触发条件和触发case场景。特别注意，None类型可能会引起触发2次watcher调用

 

(截取了淘宝同学的blog : http://rdc.taobao.com/team/jm/archives/1047)

 

event For “/path” defaultWatcher exists
(“/path”) getData
(“/path”) getChildren
(“/path”)

EventType.None	√	√	√	√
EventType.NodeCreated		√	√
EventType.NodeDeleted		√	√
EventType.NodeDataChanged		√	√
EventType.NodeChildrenChanged				√

b.  出现session expired，需要重建zookeeper connector，对应的watcher会失效。因为watcher在client的存储是和对应的zookeeper client绑定，不同的client有不同的watcher列表。