storm实时流式计算框架集群搭建过程

http://blog.csdn.net/comaple/article/details/7896167

这几天在其他同事的帮助下，调研了twitter的开源流式计算框架storm的使用，下面分享一下storm集群的安装配置过程。以作备忘之用。

我的实验机器为：195和196

如果转载请注明出处：comaple的博客

首先：安装依赖包

1，  ZeroMQ 2.1.7

2，  JZMQ

3，  Java

4，  Python

5，  Unzip

这里只需要安装1,2就可以了。下面是遇到的一些问题：

安装zeroMQ

下载zeroMQ2.1.7  http://www.zeromq.org/area:download

解压：tar –xvf zeromq-2.1.7.tar.gz

Cd 到bin目录：

./autogen.sh  如果没有找到configure文件时要运行这一步。
./configure
configure: error: cannot link with -luuid, install uuid-dev. 运行时如果报这个错解决方案如下：
yum install uuid-dev 提示找不到该依赖包
yum install uuid*     直接用* ok
./configure  再次运行configure还是报错
configure: error: cannot link with -luuid, install uuid-dev.
上网搜索可能是还缺另外一个包
yum install e2fsprogs* ok
make install

安装JZMQ

a)        下载jzmq.zip   https://github.com/nathanmarz/jzmq

b)  Cd到bin目录./autogen.sh

c)  ./configure

d)   make install

安装storm集群

配置说明：10.10.249.195：nimbus   10.10.249.196： supervisor

Storm集群需要zookeeper集群的支持所以应该先安装zookeeper集群。再配置storm集群，下面是storm集群的配置：

10.10.249.195上的配置：

a)        下载storm-0.7.4.zip   https://github.com/nathanmarz/storm/downloads

b)        解压后修改conf/storm.yaml文件，

storm.zookeeper.servers:

    - "10.10.249.195"

    - "10.10.249.196"

c)        # nimbus.host:"nimbus" 这个不用改，nimbus负责提交任务，分配任务。相当于namenode节点。

配置好以后到bin目录下：

./storm nimbus     启动storm主节点服务

./storm ui                   启动storm监控页面：监控地址：http://hostname：8080

10.10.249.196上的配置：

1，修改storm.yaml 文件：

storm.zookeeper.servers:

    -"10.10.249.195"

    -"10.10.249.196"

nimbus.host: "10.10.249.195"

#这个是storm将要启动几个本地work，一个端口对应一个work。

supervisor.slots.ports:

    - 6700

    - 6701

    - 6702

    - 6703

2，启动supervisor

./storm supervisor

 

提交任务：

10.10.249.195上面：

./storm jar stormWork.jar SearchKeywordTopNTopology"word-count"

这里有用到的jar文件大家可以试一试：stormWork.jar

 

监控storm运行情况：