Twitter Storm源代码分析之Nimbus/Supervisor本地目录结构

转载：http://xumingming.sinaapp.com/483/twitter-storm-code-analysis-local-dir/

Twitter Storm源代码分析之Nimbus/Supervisor本地目录结构

我们知道，storm集群里面工作机器分为两种一种是nimbus, 一种是supervisor, 他们通过zookeeper来进行交互，nimbus通过zookeeper来发布一些指令，supervisor去读zookeeper来执行这些指令，具体nimbus和supervisor在zookeeper上交换了哪些信息可以看一下这篇文章: Twitter Storm源代码分析之ZooKeeper中的目录结构。知道了他们在zookeeper存的信息之后，大家一定想知道nimbus和zookeeper在自己本机存了什么信息呢？这篇文章给你介绍。代码主要包括config.clj, nimbus.clj, supervisor.clj, worker.clj。

注意：下面目录结构里面， nimbus机器上面只有/nimbus目录，supervisor机器上面只有/supervisor目录和/workers目录。

/{storm-local-dir}
|
|-/nimbus
| |
| |-/inbox -- 从nimbus客户端上传的jar包
| | | 会在这个目录里面
| | |
| | |-/stormjar-{uuid}.jar -- 上传的jar包其中{uuid}表示
| | 生成的一个uuid
| |
| |-/stormdist
| |
| |-/{topology-id}
| |
| |-/stormjar.jar -- 包含这个topology所有代码
| | 的jar包(从nimbus/inbox里
| | 面挪过来的)
| |
| |-/stormcode.ser -- 这个topology对象的序列化
| |
| |-/stormconf.ser -- 运行这个topology的配置
|
|-/supervisor
| |
| |-/stormdist
| | |
| | |-/{topology-id}
| | |
| | |-/resources -- 这里保存的是topology的
| | | jar包里面的resources目录
| | | 下面的所有文件
| | |
| | |-/stormjar.jar -- 从nimbus机器上下载来的
| | | topology的jar包
| | |
| | |-/stormcode.ser -- 从nimbus机器上下载来的
| | | 这个topology对象的序列
| | | 化形式
| | |
| | |-/stormconf.ser -- 从nimbus机器上下载来的
| | 运行这个topology的配置
| |
| |-/localstate -- supervisor的localstate
| |
| |-/tmp -- 临时目录，从Nimbus上下
| | 载的文件会先存在这个目
| | 录里面，然后做一些简单
| | 处理再copy到
| | stormdist/{topology-id}
| | 里面去
| |-/{uuid}
| |
| |-/stormjar.jar -- 从Nimbus上面download下
| 来的工作jar包
|
|-/workers
|
|-/{worker-id}
|
|-/pids -- 一个worker可能会起多个子
| | 进程所以可能会有多个pid
| |
| |-/{pid} -- 运行这个worker的JVM的pid
|
|-/heartbeats -- 这个supervisor机器上的
| worker的心跳信息
|
|-/{worker-id} -- 这里面存的是一个worker
的心跳：主要包括心跳时
间和worker的id