Apache Storm 集群配置文档

我们使用如下三台机器搭建Storm集群,此文档在我们已经安装了zookeeper集群、JDK的前提下有效

192.168.1.96
192.168.1.45
192.168.1.34

下面操作在不说明的情况下都是在96这台机器上做的操作

安装配置

首先下载解压

wget http://mirrors.noc.im/apache/storm/apache-storm-1.0.0/apache-storm-1.0.0.tar.gz  
tar xzvf  apache-storm-1.0.0.tar.gz  
cd apache-storm-1.0.0

其次编辑conf/storm.yaml文件

1) storm.zookeeper.servers: storm集群使用的zk集群地址,如果zk使用的不是默认2181的端口，那么我们还要增加 storm.zookeeper.port的配置项 
2) storm.local.dir 用于存储少量数据，需要我们提前创建好目录   
3) nimbus.seeds 让工作节点知道哪个是nimbus以便下载topology的jar和conf  
4) supervisor.slots.ports 对于每个Supervisor工作节点，需要配置该工作节点可以运行的worker数量。
每个worker占用一个单独的端口用于接收消息，该配置选项即用于定义哪些端口是可被worker使用的。
默认情况下，每个节点上可运行4个workers，分别在6700、6701、6702和6703端口 
5）这里的cluster1对应96，cluster2对应45，cluster3对应34机器，刚开始的时候我这里都是直接写的ip，
但是storm ui起来之后发现如下情况，都是localhost而且nimbus里面有两个，如下图

6) 如何将ip和cluster1、cluster2、cluster3对应起来呢，我们需要配置机器的hosts和hostname，拿96这台机器来举例： 

同步storm到其他机器上

scp -r apache-storm-1.0.0/ 192.168.1.45:/data/strawbird/apache-storm-1.0.0
scp -r apache-storm-1.0.0/ 192.168.1.34:/data/strawbird/apache-storm-1.0.0

启动

在主节点也就是96这台机器上启动Nimbus，在从节点也就是45和34这两台机器上启动Supervisor服务
bin/storm nimbus &
bin/storm supervisor &
在主节点上启动storm ui,经测试storm ui在supervisor节点上启动之后访问URL: http://xxx.xxx.xxx:8080不能正确显示
bin/storm ui &
起来之后我们就可以看到如下截图，这就是正常了

参考文档

【1】http://storm.apache.org/releases/1.0.0/Setting-up-a-Storm-cluster.html

2016/4/25 17:33:01

本文基于署名-非商业性使用-相同方式共享 4.0许可协议发布，欢迎转载、使用、重新发布，但务必保留文章署名稻草鸟人(包含此订阅号二维码)