storm实时流式计算框架集群搭建过程

                                              Storm集群安装配置过程


                                                                                                                                                                                               ——by comaple.zhang

这几天在其他同事的帮助下,调研了twitter的开源流式计算框架storm的使用,下面分享一下storm集群的安装配置过程。以作备忘之用。

我的实验机器为:195和196

如果转载请注明出处:comaple的博客

首先:安装依赖包

1,  ZeroMQ 2.1.7

2,  JZMQ

3,  Java

4,  Python

5,  Unzip

这里只需要安装1,2就可以了。下面是遇到的一些问题:

安装zeroMQ

下载zeroMQ2.1.7  http://www.zeromq.org/area:download

解压:tar –xvf zeromq-2.1.7.tar.gz

Cd 到bin目录:

./autogen.sh  如果没有找到configure文件时要运行这一步。
./configure
configure: error: cannot link with -luuid, install uuid-dev.
运行时如果报这个错解决方案如下:
yum install uuid-dev
提示找不到该依赖包
yum install uuid*    
直接用* ok
./configure 
再次运行configure还是报错
configure: error: cannot link with -luuid, install uuid-dev.
上网搜索可能是还缺另外一个包
yum install e2fsprogs* ok
make install

安装JZMQ

a)        下载jzmq.zip   https://github.com/nathanmarz/jzmq

b)  Cd到bin目录./autogen.sh

c)  ./configure

d)   make install

安装storm集群

配置说明:10.10.249.195:nimbus   10.10.249.196: supervisor

Storm集群需要zookeeper集群的支持所以应该先安装zookeeper集群。再配置storm集群,下面是storm集群的配置:

10.10.249.195上的配置:

a)        下载storm-0.7.4.zip   https://github.com/nathanmarz/storm/downloads

b)        解压后修改conf/storm.yaml文件,

storm.zookeeper.servers:

    - "10.10.249.195"

    - "10.10.249.196"

c)        # nimbus.host:"nimbus" 这个不用改,nimbus负责提交任务,分配任务。相当于namenode节点。

配置好以后到bin目录下:

./storm nimbus     启动storm主节点服务

./storm ui                   启动storm监控页面:监控地址:http://hostname:8080

10.10.249.196上的配置:

1,修改storm.yaml 文件:

storm.zookeeper.servers:

    -"10.10.249.195"

    -"10.10.249.196"

nimbus.host: "10.10.249.195"

#这个是storm将要启动几个本地work,一个端口对应一个work。

supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

2,启动supervisor

./storm supervisor

 

提交任务:

10.10.249.195上面:

./storm jar stormWork.jar SearchKeywordTopNTopology"word-count"


这里有用到的jar文件大家可以试一试:stormWork.jar

 

监控storm运行情况:

storm实时流式计算框架集群搭建过程_第1张图片


你可能感兴趣的:(框架,集群,python,twitter,download,任务)