storm集群的配置与启动

配置

---

storm在conf/storm.yaml包含了一些配置信息。

storm.zookeeper.servers: 
    - "10.16.15.6" 
storm.zookeeper.port: 2181 
storm.local.dir: "/tmp/storm/" 
nimbus.host: "10.16.15.3" 
ui.port: 8999 
supervisor.slots.ports: 
    - 6700 
    - 6701
    - 6702
    - 6703

storm.zookeeper.servers/port：配置storm集群使用的zookeeper集群的地址/端口
storm.local.dir：Nimbus和Supervisor在本地磁盘上的状态缓存信息(jar包， 配置文件等)
nimbus.host：Nimbus机器的地址
ui.port： 用于storm ui的端口
supervisor.slots.ports：机器上运行的进程及每个进程使用的端口
storm UI 默认端口是8080，当该端口已被占用时，需要在storm.yaml中显式指定

启动

---

源码storm是一个fail-fast系统，出现什么不可预知的错误的时候它都会退出的。如果Nimbus和Supervisor重启的话，不会影响正在运行的topology。
Zookeeper：
在zookeeper的机器上启动进程，/usr/local/zookeeper/bin/zkServer.sh start
Nimbus：
在Nimbus机器上启动进程，sudo ~/luyongjing/storm-0.8.1/bin/storm nimbus
Supervisor：
在每台Supervisor机器上启动进程，sudo ~/luyongjing/storm-0.8.1/bin/storm supervisor
Storm UI：
storm UI是一个监控storm运行状态的网页，bin/storm ui，访问地址: http://{nimbus.host}:ui.port/。
也可以将上述命令写成一个简单的脚本。在每次启动前，先杀死storm相关进程：ps aux|grep storm|grep root|awk '{print $2}'|xargs sudo kill。然后将进程从后台启动，例如：sudo nohup ~/luyongjing/storm-0.8.1/bin/storm nimbus &
若出现“kill xxxx: 没有那个进程”，删除storm.local.dir中的supervisor缓存文件，重新启动即可。出现该问题是由于上一次Supervisor的异常终止，例如断电等

编译

---

使用maven编译storm_starter源码
下载：git clone https://github.com/nathanmarz/storm-starter.git
编译：sudo mvn -f m2-pom.xml compile
打包：sudo mvn -f m2-pom.xml package
删除：sudo mvn -f m2-pom.xml clean
mvn -f 表示强制使用 m2-pom来编译

运行

---

向storm集群提交storm_starter中的example
提交topology：sudo storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology WordCount
终止topology：storm kill WordCount