Storm 0.9 集群搭建

搭建Storm 0.9 集群的主要步骤有以下几步：

    1 搭建Zookeeper集群

    2 在 Nimbus和 worker上安装相应的依赖

    3 下载Storm 到 Nimbus 和worker机器上

    4 在storm.yaml填写必须的配置

    5 用storm脚本启动storm集群

1搭建zookeeper集群

    Storm主要用Zookeeper来协调集群的。Zookeeper不是用来作为消息传递的，所以Storm对Zookeeper的负载是低的。单节点集群足以满足storm需求。如果需要zookeeper 的failover可以搭建多节点的zookeeper集群。具体搭建zookeeper  步骤，这里不详细写了。

2在机器上安装相应的JDK和python

    JDK版本最低为 1.6

    Python版本最低为2.6.6

3下载storm到相应的机器上

    最新版本为0.94  下载    解压提取到相应的Nimbus和worker机器上。

4在storm.yaml填写必须的配置项

   1)storm.zookeeper.servers:

storm.zookeeper.servers:  
 - "111.222.333.444"  
 - "555.666.777.888"

如果zookeeper端口不是默认端口，必须填写端口配置

    storm.zookeeper.port

    2) storm.local.dir:主要是nimbus和Supervisor用来保存状态的地方，在每台机子上都有建立相应的目录，并且赋予相应的权限。

    eg:

storm.local.dir: "/mnt/storm"

   3) nimbus.host: worker节点需要知道哪个节点是master,以便用来下载topology的 jar和配置

nimbus.host: "111.222.333.44"

 4) supervisor.slots.ports:对于每个worker节点需要配置多少个worker运行在该节点上。每个worker用单独的port接收消息，如果你配置五个端口，表明五个 worker运行在该机器上，如果3个表明3个worker运行在该机器上。默认是四个worker在一台机子上。

supervisor.slots.ports:     
    - 6700     
    - 6701     
    - 6702     
    - 6703

5用storm脚本启动相应的程序

    1）Nimbus: 在master节点上   bin/storm nimbus   用来启动nimbus

     2) Supervisor:在每台worker节点上  bin/storm supervisor 用来启动supervisor  ,supervisor用来启动和关闭本机器上的worker

     3) UI: 在master节点上 bin/storm ui ，主要用来在浏览器中查看storm集群的状态，http://{nimbus host}:8080

单机伪集群的全部配置如下

 storm.zookeeper.servers:
    - "127.0.0.1"
 storm.zookeeper.port: 2181 
 storm.local.dir: "/home/xxx/storm/workdir"
 nimbus.host: "127.0.0.1"

 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

主要参照  https://storm.apache.org/documentation/Setting-up-a-Storm-cluster.html  翻译

转载标注：http://my.oschina.net/robinyao/blog/415757