高效搭建Storm完全分布式集群

写在前面

本文旨在帮助正在学习Storm，欲搭建Storm集群者。在搭建Storm及后续研究过程有任何问题，欢迎留言交流，这里是“数据的开拓者”。

环境说明 

1、硬件说明

使用三台PC机，角色分配如下

 

2、软件说明

 

约定所有软件都放在/usr/local/路径下

准备工作

1、安装jdk

2、配置SSH

Storm集群安装

安装流程图

1、安装Zookeeper集群

2、安装Storm依赖

zeromq、jzmq、python

2.1、安装zeromq

tar -zxvf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

是源码，需先编译

./configure   检查编译环境

安装依赖

rpm -ivh libstdc++-devel-4.4.7-3.el6.i686.rpm

rpm -ivh gcc-c++-4.4.7-3.el6.i686.rpm 

rpm -ivh libuuid-devel-2.17.2-12.9.el6.i686.rpm

./configure   检查编译环境

make   编译

make install   安装

2.2、安装jzmq

unzip jzmq-master.zip 

安装依赖

rpm -ivh autoconf-2.63-5.1.el6.noarch.rpm

rpm -ivh automake-1.11.1-4.el6.noarch.rpm

rpm -ivh libtool-2.2.6-15.5.el6.i686.rpm

在/usr/local/jzmq-master路径下

./autogen.sh 

./configure

make

make install

2.3、检查python

which python

python -V 

3、安装storm

3.1、unzip storm-0.8.2.zip

3.2.1、配置storm环境变量

# set storm  environment

export STORM_HOME=/usr/local/storm-0.8.2

export PATH=$PATH:$STORM_HOME/bin

3.2.2、修改Storm的配置文件

vi storm.yaml

配置Zookeeper

配置storm

 

4、启动Storm集群

4.1、各节点启动Zookeeper   zkServer.sh start

4.2、master启动Storm   storm nimbus > ./nimbus.log 2>&1 &

4.3、子节点启动   bin/storm supervisor > ./supervisor.log 2>&1 &

4.4、master启动图形化管理界面进程（进程名core） storm ui > ./core.log 2>&1 & 

5、启动验证

5.1 Java守护进程

 

5.2 web端

http://hadoop100:8080/

Storm集群完全分布式安装Successfully，欢迎留言交流

------------------------------------------------------------------------------------------------------------

本文author：数据的开拓者成员之一 余建新

QQ群：248087140 

座右铭： 

你在你擅长的领域牛逼， 

并带着一群小白变牛逼，

别人会发自内心的去尊重你的。 

--可点击加入我们