[置顶] storm0.9.2集群的搭建

用到的软件

hadoop-2.6.2

jdk1.8.0_65

kafka_2.9.2-0.8.1.1

zookeeper-3.4.6

storm-0.9.2

zeromq-4.0.4

jzmq

python

ant

GCC

步骤

搭建zookeeper集群

安装storm依赖库

下载并解压storm

修改storm.yaml配置文件

启动storm各个进程

安装ant

yum -y install ant

安装gcc

yum -y install gcc

安装python

yum -y install python-devel

安装storm依赖包

安装zeromq

cd zeromq-4.0.4

chmod +x configure

chmod +x *.sh
./configure
make
make install（用root用户）

安装jzmq

cd jzmq

chmod +x configure

chmod +x *.sh

./configure

make

make install (用root用户)

如果make时报错：jzmq   ../../../libtool: line 827: X--tag=CXX: command not found 

则：rm libtool； ln -s /urs/lib/libtool libtool;  再make

安装解压storm，配置环境变量，保存环境变量

vi /etc/profile 

export STROM_HOME=/home/wyz/storm-0.9.2

export PATH=$PATH:$STORM_HOME/bin

source /etc/profile

修改配置文件storm.yaml

cd /home/wyz/storm-0.9.2-incubating/conf

vim storm.yaml

########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "slave01"
     - "slave02"
     - "slave03"
    # - "10.162.219.53"
    # - "10.162.219.52"
# 
 nimbus.host: "master01"
 storm.local.dir: "/home/wyz/storm-0.9.2-incubating/topology" 
 #ui.port: "18080"
 supervisor.slots.ports: 
        - 6701 
        - 6702 
        - 6703 
        - 6704
#        - 6705
#        - 6706
#        - 6707
#        - 6708
#        - 6709
#        - 6710

修改权限

chmod +x /home/wyz/storm-0.9.2-incubating/bin/*

chmod +x bin/*

启动Storm(在此之前要启动Zookeeper)

storm nimbus &

storm supervisor &

storm ui &

或者

nohup storm nimbus >> logs/nimbus.log 2>&1 &
nohup storm supervisor >> logs/supervisor.log 2>&1 &
nohup storm ui >> logs/ui.log 2>&1 &

启动后可以通过http://{nimbus host}:8080   在windows的浏览器上查看

到此storm的安装完成

启动如果碰到错误：

normclasspath = cygpath if sys.platform == 'cygwin' else identity

原因分析：

python2.4

python2.6

版本问题，需要指定用2.6版本，方法：

rm /usr/bin/python

ln -s /usr/local/bin/python2.6 /usr/bin/python

扩展成一个Strom集群的方法

将shaka/storm下的软件包完全一样的拷贝到新的机器上

配置文件不需要修改

因为要共用zk和nimbus

配置环境变量（同上）

启动supervisro &的方法

storm supervisor &

启动后可以通过http://{nimbus host}:8080   在windows的浏览器上查看

到此集群版的storm的安装完成。

一个集群模式的storm搭建起来了！